JP4171833B2 - Endoscope guidance device and method - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、自在に屈折する軟性内視鏡のナビゲーションに関する。
【０００２】
【従来の技術】
脳神経外科などの手術の際には、患者の手術操作部位とコンピュータ連動断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）などの断層画像（３次元画像）の位置関係を把握できるように術者を支援するナビゲーション装置が利用されている。これにより、術者は、操作位置と、診断時に撮影された医用画像との相対的位置関係の認識が可能となる。
【０００３】
このナビゲーション装置を利用した操作部位の３次元位置計測の主なものとして、機械方式（例えば、Kosugi et al., An Articulated Neurosurgical Navigation System Using MRI and CT Images (IEEE Transactions of Biomedical Engineering, Vol. 35, No. 2, February 1988)、および米国特許5050608号 (E. Watanabe, Y. Kosugi and S. Manaka: System for indicating a position to be operated in a patient's body）と、ステレオビジョン方式 (例えば、特許3152810号；小杉、渡辺、鈴木、川上、中川：光学式３次元位置検出装置) がある。機械方式は、ロータリーエンコーダを有する多関節アームナビゲーション装置により先端位置座標を求めるものである。また、ステレオビジョン方式は、複数個のＣＣＤカメラによりプローブに設置された輝点像を認識し、三角測量の原理に基づいてプローブの３次元的位置を算出するものである。
【０００４】
【発明が解決しようとする課題】
しかし、これらの装置で内視鏡先端の位置を測定しようとした場合、機械方式にあっては、アームと内視鏡先端の位置が機械的に剛性の保たれた形で接続されていることが必要であり、形状が自在に変わり得るファイバー式の軟性内視鏡ではこのような使用条件が満たされない。また、ステレオビジョン方式にあっては、体内に置かれた内視鏡先端に仮に発光部を装着したとしても、体外に位置するＣＣＤカメラとの間に不透明の生体組織が存在することから、位置の確定は不可能である。
【０００５】
軟性内視鏡を用いた手術装置において、内視鏡先端部の位置測定をおこなうためには、１) 体内の３次元位置に対応した画像をいかにして生成・登録するかという問題、２) 登録された画像と内視鏡から観測される画像の照合をいかにして行うかという問題、３) 手術環境下で内視鏡の進むべき方向を術者に的確に与えるヒューマンインターフェースをどのように構成すれば良いかという問題がある。また、４) 手術時に簡便かつ高精度に実時間で内視鏡先端部の位置測定を実行するための計算アルゴリズムおよび付属機器の開発を行う必要がある。
【０００６】
この発明の目的は、自在に屈折する軟性内視鏡を用いた手術などにおいて、簡便かつ高精度に内視鏡先端部の位置を判断できるようにすることである。
【０００７】
【課題を解決するための手段】
本発明に係る内視鏡誘導装置は、検査対象の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報からなるデータベースを記憶する記憶手段と、検査対象の実軟性内視鏡画像を取得する入力手段と、前記実内視鏡画像を前記データベース内の仮想内視鏡画像と比較して、前記内視鏡画像と最も類似度が高い仮想内視鏡画像を決定する比較手段と、決定された仮想内視鏡画像の情報から、前記実内視鏡画像に対応する軟性内視鏡先端部の位置と姿勢を決定する決定手段とを有する。ここで、実軟性内視鏡画像とは、本物の軟性内視鏡で観測される画像であり、実内視鏡画像とは、本物の内視鏡で観測される画像である。
【０００８】
前記の内視鏡誘導装置において、たとえば、前記の仮想内視鏡画像は、検査対象の３次元画像データに基づいて生成された画像である。
【０００９】
前記の内視鏡誘導装置において、たとえば、前記の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報は、硬性内視鏡により得られた画像と、その画像を得たときの硬性内視鏡先端の位置および姿勢の情報である。
【００１０】
前記の内視鏡誘導装置において、たとえば、さらに、決定手段により決定された内視鏡先端部の位置と姿勢を、２次元断面表示または３次元表示された検査対象の画像に重畳して表示装置の画面に表示する表示手段とを備える。
【００１１】
前記の内視鏡誘導装置において、たとえば、前記の表示手段は、さらに、実内視鏡画像またはそれと最も類似度が高い仮想内視鏡画像に、当該画像では表示されていない体内の患部を重畳して表示する。
【００１２】
前記の内視鏡誘導装置において、たとえば、さらに、検査対象の３次元画像データに基づいて仮想内視鏡画像を計算する画像生成手段を備え、この画像生成手段は、設定された内視鏡先端の位置と姿勢ごとに、それに基いて３次元画像データの補間演算とレンダリング演算を実行して仮想内視鏡画像を取得する。多数の内視鏡先端の位置と姿勢を設定して演算することにより大規模な仮想内視鏡画像のデータベースを構築できる。
【００１３】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、画素位置(i,j)における実内視鏡画像の画素値と仮想内視鏡画像の画素値を、実内視鏡画像の画素値と仮想内視鏡画像の画素位置を座標軸とする２次元グラフにプロットしたときに最も少ない面積上に分布する仮想内視鏡画像をデータベースから探索し、最も類似度が高い仮想内視鏡画像とする。
【００１４】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、相互情報量が最大の仮想内視鏡画像を仮想内視鏡画像データベースから探索し、最も類似度が高い仮想内視鏡画像とする。
【００１６】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、適応的非線形写像を実施した後の最終マッチングスコアによる類似度を用いる。
【００１７】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、内視鏡を前進させた場合に、探索範囲を常に前回の探索範囲の近傍とし、前回と今回の内視鏡の挿入距離の差分に相当する探索半径を基に、仮想内視鏡画像のデータベース内の探索を実施する。
【００１８】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、実内視鏡画像と仮想内視鏡画像をそれぞれ極座標系に変換した後、最も類似度が高い仮想内視鏡画像を選ぶ。
【００１９】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、類似度の評価において、あらかじめ実内視鏡画像と仮想内視鏡画像の各画像の画素強度の最大値を１に規格化した後、対応する画素ごとの強度差の２乗和を用いる。
【００２０】
前記の内視鏡誘導装置において、たとえば、前記の決定手段は、前記の比較手段により得られた内視鏡先端の推定位置が、過去に推定した内視鏡先端位置を時系列で並べたときに外挿される現在の予測位値から著しく逸脱した位置である場合にその推定位置を採用しない。なお、前述の内視鏡誘導装置における種々の構成要素は、可能な限り組み合わせることができる。
【００２４】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。
本発明は、自由に屈折する内視鏡の誘導（ナビゲーション）に関する。近年脳神経外科領域をはじめとして多くの医療分野で内視鏡を用いた手術が行われるようになったが、術者は内視鏡先端が患者のどの位置にあるかを見失う場合がある。そこで、ヒトはＧＰＳなどの特別な位置検出機器を用いなくても、見慣れた街中を迷わずに自由に移動することができることに着眼した。これは、「この光景は見たことがある」という既視感と、その光景から場所の情報を連想的に検索できる人間の脳に備わった機能によるものである。本発明では、このような画像の印象より位置情報を検索する機能をコンピュータのアルゴリズム上で実現した。ここで、コンピュータ連動断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）などの断層写真群からボリュームレンダリング、手術用ナビゲーションシステムなどの画像表示によって得られた位置と画像の関係のデータを蓄積しておき、特に手術などの施行者が操作する内視鏡先端の３次元的位置情報を、過去に登録済みの画像から推定して術者に提供する。
【００２５】
発明の実施の形態１．
図１は、発明の実施の形態１に係る内視鏡誘導装置の構成を示す。この装置は、自在に屈折する軟性内視鏡（図示しない）に接続され、患者の手術操作部位と断層画像（３次元画像）の位置関係を把握できるように術者を支援する。さらに説明すると、この装置において、ネットワークコントローラ１０は、ＣＴ画像、ＭＲＩ画像などの３次元画像、本物の内視鏡からの画像（内視鏡画像）などの診断画像を外部から読み込む。これらの診断画像は、ハードディスク１２内に記憶される。ＣＰＵ１４は、キーボード、マウスなどの入力装置１６からの指示に基づき、内視鏡誘導プログラムに従い計算機処理を実行する。ここで、ハードディスク装置１２内のハードディスク（記録媒体）に格納された内視鏡誘導プログラムは、実行時にメモリ１８にロードされる。処理結果の画像は、ビデオコントローラ２０を経由し、ディスプレーモニタ２２で表示される。
【００２６】
図２は、内視鏡誘導プログラムにおける機能ブロックを表している。仮想内視鏡画像データベース計算ステップ（Ｓ１０）で、検査対象のＭＲＩ、ＣＴなどの３次元画像データを入力して、入力した３次元画像データに基づいて仮想内視鏡画像を計算し、ハードディスク装置１２内のデータベースに記憶しておく。手術などにおいて、検査対象の内視鏡画像データが入力されると、比較ステップ（Ｓ１２）で、データベース内の仮想内視鏡画像と本物の内視鏡で観測した検査対象の画像（実内視鏡画像）とを比較して、現在の内視鏡先端部の位置と姿勢を実時間で決定する。次に、表示ステップ（Ｓ１４）で、比較ステップで得られた現在の内視鏡先端部の位置と姿勢を、モニタ２２の画面上に表示しているＭＲＩ画像またはＣＴ画像上に重畳して表示する。
【００２７】
仮想内視鏡画像の計算では、検査対象のＭＲＩ、ＣＴなどの３次元画像データに基いて仮想内視鏡画像を計算する必要がある。これについては、３次元画像データをボリュームレンダリングする方法が公知であり、その方法を用いてもよい。その方法の詳細は、たとえば、Rubin, Perspective Volume Rendering of CT and MRI Images: Applications for Endoscopic Imaging (Radiology、１９９巻、３２１〜３３０ページ、１９９６年) に記載されている。簡単に説明すると、検査対象のＭＲＩ、ＣＴなどの３次元画像データは３次元のボリュームデータである。内視鏡を検査対象に挿入したときに、内視鏡先端のカメラで観測できる画像は、この点に観測点をセットして、そこから光の束を発散させて各光の直進路にしたがって検査対象の体積要素に関する色と透明度の計算を行うと、シミュレーション可能である。たとえば、ＭＲＩの各体積要素内の値が小さいときは、空気領域または骨領域であることが一般的である。また、ＭＲＩの各体積要素内の値が大きいときは、軟組織など水分が豊富な領域であることが一般的である。したがって、ＭＲＩの各体積要素内の値が小さいときは透明度をあげて、ＭＲＩの各体積要素内の値が大きくなるに従い透明度を下げれば、空気領域と軟組織領域をコントラストよく区別して３次元表示できる。
【００２８】
仮想内視鏡画像データベース計算（図２、Ｓ１０）では、上記の観測点（視点）と観測姿勢（仮想的なカメラの方向）を種々変化させて、多数の内視鏡画像をシミュレートした画像（仮想内視鏡画像）を得て、仮想内視鏡画像および視点情報をハードディスク装置１２内のデータベースに蓄積しておく。図３に、その処理をより詳細に流れ図として示した。まず、病院内ネットワークで標準的に使用されているＤＩＣＯＭ形式のＣＴまたはＭＲＩ画像を読み込む（Ｓ１００）。次に、ボクセル値に対する不透明度と色テーブルを定義する（ステップＳ１０２）。ボクセル値に対する不透明度に関しては、所定のしきい値以下の不透明度をゼロ（完全透明）、前記しきい値以上の不透明度を１（完全不透明）とすると、レンダリング速度が増大した。次に、補間計算法を設定する（ステップＳ１０４）。補間計算法としては、３次元の線形補間を用いた。次に、陰影処理パラメータを設定し（ステップＳ１０６）、レンダリング方法を選択する（ステップＳ１０８）。陰影処理パラメータは複数の値で試行錯誤的に調整した。また、レンダリング方法としてレイキャスティング法によるボリュームレンダリングを採用した。なお、光線上の計算刻み幅を表示にアーチファクトが入らない範囲でなるべく大きくすることにより、高速計算が達成できた。次に、視点（カメラ）位置・回転中心・鉛直上向きの視点情報を設定する（ステップＳ１１０）。視点情報は、カメラ位置を体外位置とした平行投影による対象となる画像全体のボリュームレンダリング表示に基づき決定した。次に、視野角を設定する（ステップＳ１１２）。視野角としては同時に用いる内視鏡における視野角の値を入力した。次に、レンダリングを実行し、仮想内視鏡画像を取得する（ステップＳ１１４）。最後に、仮想内視鏡画像と視点情報をデータベース用ファイルに保存する（ステップＳ１１６）。視点情報（観測点と観測姿勢）を種々変化させて、ステップＳ１１０〜Ｓ１１６の処理を繰り返して、多数の内視鏡画像をシミュレートした画像（仮想内視鏡画像）を得る。
【００２９】
図４は、仮想内視鏡画像データベースを生成する処理（図２、Ｓ１０）における視点情報の設定を具体的に示す。この処理は、図３のステップＳ１１０とＳ１１２に対応する。ここで、種々の位置と姿勢に仮想カメラを設置する必要がある。カメラ位置については、１）まず本物の内視鏡で探索する場合に想定されるカメラ位置の領域を決定し（Ｓ１２０）、その後この領域内をたとえば１０ｍｍステップで３軸方向に移動した点をすべてカメラ位置として採用する（Ｓ１２２）。次に、カメラの姿勢については、２）カメラ画像の回転を５度おきに設定し、３）カメラ画像の端部位置を画像サイズの１/１０ずつ平行移動し、４）さらに仮想カメラによる画像の拡大・縮小率を５０％から２００％まで２０％ずつ変化させる（Ｓ１２４）。これらの１）から４）のパラメータを独立に変化させて（Ｓ１２６）、多数のカメラ位置と姿勢を与える。これに基いてレンダリング画像を生成することより、大規模な仮想内視鏡画像データベースを生成する。なお、仮想内視鏡画像を計算する場合は、仮想内視鏡の視野角および仮想内視鏡のカメラ回転中心とカメラ位置の相対的配置を実内視鏡と同一にすることが好ましい。
【００３０】
このようなデータベースを用いれば、画像比較ステップ（図２、Ｓ１２）において、計算した仮想内視鏡画像と本物の内視鏡で観測がされる画像（実内視鏡画像）を比較して、本物の内視鏡画像と一致度が最も高い仮想内視鏡画像をデータベース内部から探索できる。画像比較ステップ（図２、Ｓ１２）では、仮想内視鏡画像データベース内に蓄積された画像と現時点の内視鏡画像の一致度合いを調べ、最も一致する仮想内視鏡画像データベース内に蓄積された画像を決定して、これに対応する仮想カメラ位置と姿勢を得る。この結果、現時点の内視鏡先端部が検査対象（たとえば、人体の脳内）のどの位置で、どの方向に向いているかを知ることができる。この情報を、モニタ２２の２次元または３次元のＭＲＩ画像またはＣＴ画像上に重畳して表示することにより、内視鏡手術従事者は、位置と方向の判断を誤ることなく複雑な手術を続行できる。
【００３１】
具体的な方法は、図５の流れ図に示す。まずオフラインで仮想内視鏡画像をグレースケール表示して、仮想内視鏡画像の濃淡変化を、同一場所で撮像した本物の内視鏡画像となるべく一致するように調整する（Ｓ１３０）。具体的には、内視鏡を体内に入れながらＭＲＩまたはＣＴ撮像を行い、同一部位の実内視鏡画像と仮想内視鏡画像を取得すれば、上記の色の調整が対話的に可能になる。仮想内視鏡の画素強度をグレースケールに変換する関数を対話的に定義すれば、仮想内視鏡画像の濃淡を任意に変更できる。次に、相関係数が最大になる仮想内視鏡画像を仮想内視鏡画像データベースから探索する（Ｓ１３２）。次に、求まった仮想内視鏡画像に対する内視鏡先端の位置と姿勢の情報を出力する（Ｓ１３４）。
【００３２】
より詳細に説明すると、一致度の判定には、通常よく用いられる画像間の相関係数を計算する方法が適している。仮想内視鏡と本物の内視鏡画像では、色情報の相関は一般には高くないので、相関計算は、カラー画像からグレースケール画像に変換した後に実施することが望ましい。そこで、オフラインで仮想内視鏡画像をグレースケール化して、仮想内視鏡画像の濃淡変化を同一場所で撮影した本物の内視鏡画像となるべく一致するように調整する。仮想内視鏡の画素強度をグレースケールに変換する関数を定義すれば、濃淡を任意に定義できる。カラー画像（Ｒ，Ｇ，Ｂ色の強度をそれぞれＩ_R, Ｉ_G, Ｉ_Bとする）からグレースケール画像（強度I）に変換する方法は、たとえば、次の式（１）で計算すればよい。
【数１】

【００３３】
次に、仮想内視鏡画像と内視鏡画像の相関計算を行う。画素位置(i,j)における内視鏡画像画素値Ａ(i,j)と仮想内視鏡画像画素値Ｂ(i,j)について、相関係数ｒは次の式（２）で定義される。
【数２】

ここで、ＵとＶはベクトルであり、内視鏡画像および仮想内視鏡画像の画素値を並べたものであり、具体的には、次式（３）、（４）で定義される。
【数３】

【数４】

また、Ｕ・Ｖ はベクトルＵとＶの内積を表し、|Ｕ|はベクトルＵの大きさを表す。相関係数ｒは、ベクトルＵとＶの平均値を引いていない点が通常の統計学の相関係数と異なるが、直流成分を含めて２つの画像の一致度を評価する場合は、上式（２）が好ましい。なお、もし残差の２乗平均を評価関数に用いる場合は、あらかじめ |Ｕ|= |Ｖ|= 1 としておけばよい。こうしないと、互いにスケールが異なる画像の間で画素の差分を評価することになり、意味が見出せない。
【００３４】
ところで、仮想内視鏡画像と本物の内視鏡画像では、互いに異種画像であるために、画素強度は互いに比例していないことが一般的である。相関係数を計算するために、２種類の画像では対応する画素強度は、互いに比例すると相関が最大になるので、比例させるように前処理をする必要がある。このような問題は、患者ごと、部位ごとに経験的な方法で対処することが可能である。
【００３５】
図６は、最も一致する仮想内視鏡画像データベース内に蓄積された画像を決定した処理の一例を示す。左側が、現時点の内視鏡画像３０であり、右側がデータベース内の最も一致する仮想内視鏡画像３２である。
【００３６】
図７は、表示ステップ（図２、Ｓ１４）で、得られた現時点の内視鏡先端部の３次元位置およびカメラの向きを、直交３平面画像４０a,４０b,４０c上に矢印として重畳して表示した結果である。矢印の大きさは３平面への投影長さで表示する。たとえば、矢印４２a,４２b,４２cの出発点に内視鏡先端位置を対応させ、矢印のベクトルをカメラの方向ベクトルとする。この結果、治療医は内視鏡先端位置を正しく認識し、正確な位置で内視鏡手術を実施できる。図８は、同様の表示を３次元レンダリング画像に重畳して表示した場合を示す。３次元レンダリング画像としては、ボリュームレンダリングまたはサーフェスレンダリングを用いることができる。ボリュームレンダリングを用いた場合は、組織ごとの輪郭抽出が不要であるという利点を有する。
【００３７】
発明の実施の形態２．
図９は、発明の実施の形態２における内視鏡誘導プログラムを示す。ここで、図２の処理の後で、さらに、内視鏡では見えない体内表層下の患部（腫瘍など）を仮想内視鏡画像上でボリュームレンダリングにより表層を半透明表示し、内視鏡との位置合わせをおこなう（Ｓ１６）。この結果、内視鏡画像にも体内表層下の患部（腫瘍など）を追加表示でき、正確な内視鏡下での手術を実施できる。このような体内の腫瘍をボリュームレンダリングで表示することができる条件は、正常組織と腫瘍組織のＭＲＩ画像強度が大きく異なることであるが、この条件は多くの場合に成立することが知られている。
【００３８】
１例として、図１０に、図６に示した画像に体内表層下の患部（ここでは腫瘍）の位置を重畳して表示した例を示す。体内表層下の患部を、仮想内視鏡画像３２上でボリュームレンダリングにより表層を半透明に表示して重畳して表示している。また、内視鏡画像３０に、体内表層下の患部３４を追加表示している。
【００３９】
発明の実施の形態３．
前述の実施の形態１では、仮想内視鏡像をグレースケール化していた（図５、Ｓ１２０）。ところで、実内視鏡画像のグレースケール表示は組織表層の色（Ｒ，Ｇ，Ｂの比率およびスケーリング値つまり明度）で決まり、患者の組織表層の血流状態と代謝状態で色が決まる。一方、ＣＴまたはＭＲＩ画像から仮想内視鏡画像を構成した場合の色は、ＣＴ値またはＭＲＩ強度と表示色の対応関数で決まる。この対応関数は任意に設定できる。このことから、患者が変わった場合は、組織表層の色は個体差があるので、発明の実施の形態３で説明した方法で、別の患者のオフライン測定結果を用いることは一般には不適切であることがわかる。また、同一患者でも組織が異なれば、組織表層の血流状態と代謝状態が変化するため、同一患者の別組織のオフライン測定結果を用いることは一般には不適切であることも理解できる。
【００４０】
このような事情があるので、実内視鏡画像と仮想内視鏡画像のグレースケールの濃淡合わせまたは色合わせは、理想的には、適応的に画像ごとに自動計算する必要がある。しかし、これは煩雑であるので、これを避ける本実施の形態の処理を説明する。ここでは、ジョイントヒストグラムまたは２次元ヒストグラムと呼ばれる図を用いるが、この方法は異種画像の位置合わせ手法として公知である。たとえば ２００１年にCRC Press社から刊行された単行本、Medical Image Registration, ５７〜５９ページ、に記載されている。
【００４１】
図１１は、この実施形態における画像比較処理を示す。具体的には、図１２の(ａ)のように、画素位置(i,j)における実内視鏡画像の画素値Ａ(i,j)と仮想内視鏡画像の画素値Ｂ(i,j)を用いて、点（Ａ(i,j)、Ｂ(i,j)）としてグラフに２次元プロットしていき（Ｓ１３１）、最も少ない面積上に分布する仮想内視鏡画像をデータベースから探索する（Ｓ１３３）。そして、求まった仮想内視鏡画像に対応するカメラの位置と姿勢の情報を出力する（Ｓ１３４）。最も少ない面積の判定には、対話的に操作者が行う方法、プロットされた点を含む閉曲線を描く方法および発明の実施の形態１で説明したベクトルの内積演算による相関係数の計算などがある。なお、最も少ない面積上に分布するということは、実内視鏡画像で表示された画素値と仮想内視鏡画像で表示された画素値の強い関連性があることを示している。強い関連性とは、いわゆる正の相関が強い場合や負の相関が強い場合を含むが、もっと複雑な場合も含む（図１２の(ｂ)参照）。このような複雑な関連性が強い場合でも、発明の実施の形態１で説明したベクトルの内積演算による相関係数の計算が有効である。いずれの場合でも、最も少ない面積上に分布することは、２つの画像が同一カメラ位置から見た同一組織である可能性が非常に高いことを意味している。
【００４２】
発明の実施の形態４．
発明の実施の形態３の対応関数を用いた処理をさらに拡張した方法として、画像比較処理に相互情報量を評価する手法を用いることが考えられる。図１３にその流れ図を示す。相互情報量を用いた異種画像のレジストレーション（位置合わせ）については、発明の実施の形態３であげた文献の６０〜６１ページに記載されている。まず、画素位置(i,j)における実内視鏡画像Ａ(i,j)と仮想内視鏡画像Ｂ(i,j)の画素値を用いて相互情報量を計算する（Ｓ１３１'）。相互情報量は定性的には一方の画像情報が他方の画像情報をどれだけうまく説明できるかを与えるものであり、たとえば次の式（５）で与えられる相互情報量Ｉ(Ａ, Ｂ)が最大になったときに、２つの画像は位置合わせできたと判断する。
【数５】

ここで、ｐ^T _AB(a, b)は画像Ａと画像Ｂのジョイント確率分布関数であり、ｐ^T _A(a)およびｐ^T _B(b)はマージナル確率分布関数である。相互情報量の定義は、上記に限らず、他にも種々提案されているので、それらを用いてもよい。次に、相互情報量が最大になる仮想内視鏡画像を仮想内視鏡画像データベースから探索する（Ｓ１３３'）。そして、求まった仮想内視鏡画像に対応するカメラの位置と姿勢の情報を出力する（Ｓ１３４）。
【００４３】
発明の実施の形態５．
これまで述べてきたような類似度評価に相関係数、２乗誤差、相互情報量などを用いる場合、類似度が最大になる仮想内視鏡画像が仮想内視鏡画像データベース内に存在する必要があるので、データベースの大規模化は避けられない。一般にこのような処理はオフラインで計算しておく必要があり、緊急手術が必要な救急患者に対しては適用が難しい場合も考えられる。さらに、内視鏡画像に雑音が混入している場合に最適な仮想内視鏡画像の推定に失敗することも考えられる。そこで、この発明の実施の形態では、脳機能の１つである連想処理の採用によりデータベースの小規模化および対ノイズ性能向上を図る。内視鏡で得られた画像から連想処理によりその位置を検出するためには、内視鏡は挿入の間、任意の角度で回転することが予想されるため、回転操作に不変な連想処理システムを実現することが要求される。
【００４４】
以下に、２００１年６月に青木らにより発表されたRotation-Invariant Image Association for Endoscopic Positional Identification Using Complex-Valued Associative Memories （Springer, Proceedings of the 6th International Work-Conference on Artificial and Natural Neural Networks Granada, PartＩＩ，pp.369-376）に記載された、複素数型連想メモリを用いた内視鏡位置検出のための回転に不変な画像連想処理の概要を述べる。連想記憶を用いた処理は、必要なパターンをあらかじめ記憶させる記銘処理（フェーズ１）と、その後で記憶パターンの不完全パターン（ノイズの混入や、パターンの一部の情報が欠落しているようなパターン）を与えると、その不完全パターンより完全な記憶パターンを連想し出力する想起処理（フェーズ２）の２段階の処理に分けられる。
【００４５】
フェーズ１の記銘処理は、記憶しようとするパターンよりニューロン間の結合荷重を決定するプロセスであり、記憶パターンの情報はニューロン間の結合荷重に多重分散的に記憶される。また、フェーズ２の想起処理では、各ニューロンはあらかじめ定められた状態遷移規則に従って次々と状態を更新していく。実数型を拡張した複素数型連想記憶モデルを応用することにより、容易に多値のパターン情報を扱うことが可能となる。特に、複素数型連想記憶モデル(ＣＡＭＭ)と２次元離散フーリエ変換処理(2-D DFT)とを組み合わせることにより、濃淡画像の連想システムが実現される。
【００４６】
図１４により、回転操作に不変な画像連想システムの実現方法の概要を説明する。本システムでは、図１４の(ａ)に示すように円形画像を扱うものとする。なお、以下の説明は、記銘処理と想起処理に共通である。
【００４７】
(Ａ) まず図１４の(ａ)に示す円形画像を図１４の(ｂ)に示すような長方形画像に変換する。すると、円形画像における０を中心とするθ方向への回転操作は、長方形画像においてはｎ方向（横方向）のみへのシフト操作に置き換えられる。
【００４８】
(Ｂ) 図１４の(ｂ)の形式に変換された図形について２次元離散フーリエ変換処理(2-D DFT)をする。フーリエ変換された結果は図１４の(ｃ)のように与えられる。ここで、四隅の部分が低周波の空間周波数成分を表わし、中央部分が高周波の空間周波数成分を表す。
【００４９】
(Ｃ) 図１４の(c)のフーリエ変換の各成分をν(m',n'）とし、ν(m',n') ＝ |ν(m',n')|exp(α(m',n')) と表わせるものとする。以下の式（６）、（７）を用いてν(m',n')の振幅情報を位相情報に多重化させる処理を行い、位相情報のみにより表現される行列 {χ_phase(m',n')} を生成する。式（６）で、|ν_max(m',n')|は各要素|ν(m',n')|の中での最大値を表す。また、式（７）はχ_phase(m',n')を定義する。こうして画像情報をχ_phase(m',n')の形式に変換することにより、画像情報は図１４の(ｄ)の複素ニューロンにより表現することが可能となる。
【数６】

【数７】

【００５０】
(Ｄ) このように画像の情報は上記χ_phase(m',n')の形式に変換して、複素数型連想記憶モデル（ＣＡＭＭ）に与える。
【００５１】
(Ｅ) 次に、χ_phase(m',n') を位相量子化する。
【００５２】
(Ｆ) 通常、χ_phase(m',n')の全ての成分を用いてＣＡＭＭを構成するとニューロン数が非常に多くなってしまうため、画質の劣化が目立たない範囲で図１４の(ｃ)に示すように高周波領域の成分を無視してＣＡＭＭを構成する。その際ＣＡＭＭはχ_phase(m',n')の低周波領域の各列毎に構成する。例えば、行列{χ_phase(m',n')}の０からＸおよびＮ−ＸからＮ−１までの各列を利用すると、作られるＣＡＭＭの数は２Ｘ＋１個となる。ＣＡＭＭのニューロンの間の結合荷重の決定を行なう。
【００５３】
以下は、想起処理における説明である。
(Ｇ) ここで、２次元離散フーリエ変換（2-D DFT）の次の性質に注目する。ｎ方向のみにｑだけシフトした画像の２次元離散フーリエ変換は次のように表される。
【数８】
ν(m',n') = DFT{u(m, n)}
とおけば、ｕ(m, n)をｎ方向のみにｑだけシフトした画像ｕ(m, n-q)の２次元離散フーリエ変換は次のように与えられる。
【数９】
DFT{u(m,n-q)} = ν(m',n')exp(-iθ_Nn'q)
ここにθ_N = 2π/N
つまり、複素領域側でみるとexp(-isθ_Nn'q)の項が付加されるだけである。
(Ｈ) (Ｆ)で述べた通り、行列{χ_phase(m',n')}の各列ごとにＣＡＭＭを構成すると、ひとつのＣＡＭＭの中ではn'の値は等しいから、回転による影響項exp(-iθ_Nn'q)の値は各ニューロンでは皆等しくなる。すなわち、各ＣＡＭＭに対しては画像の回転操作による影響はexp(-isθ_N)の項が付加されるだけとなる。
【００５４】
(Ｉ) 一方、ＣＡＭＭは、exp(-isθ_N)の影響を吸収する性質（位相シフトに対して不変な性質）をもつ。すなわち、状態パターンx₁をＣＡＭＭの平衡状態として記銘させると、状態x₁をsθ_N（sは任意の整数）だけ位相をシフトした状態exp(-isθ_N)x₁もまたＣＡＭＭの平衡状態となる。（ただし、この場合、複素ニューロンの量子化数ＫはＮの整数倍に設定しておくものとする。）言い換えると、ＣＡＭＭはx₁もexp(-isθ_N)x₁も区別なく平等に記憶する。こうして、(Ｈ)と(Ｉ)の性質を用いることにより回転に不変な連想記憶システムを実現できる。
【００５５】
(Ｊ) 残る問題は、各ＣＡＭＭが想起した結果からどのようにして想起画像を再構成するかである。各ＣＡＭＭが想起した結果をそのまま逆２次元離散フーリエ変換（2-D IDFT）をして実数領域に変換しても正しい想起画像は得られない。各ＣＡＭＭが想起した結果より、回転による影響項exp(-isθ_N)の位相分を補正する必要がある。
【００５６】
そこで、各ＣＡＭＭの中に上記補正量を検出するためのニューロンを新たに埋め込んでおく（これにより各ＣＡＭＭのニューロン数はＲ＋１個となる）。このニューロンはあらかじめ決められた位相（これを基準位相とする）でＣＡＭＭに記憶させておき、毎回想起処理が完了した時にこのニューロンの位相を調べ、基準位相とのズレから上記補正量を検出するものとする。
【００５７】
(Ｋ) ＣＡＭＭの補正処理された想起結果より、下図の形式の行列ν_a(m',n')を作成する。ν_a(m',X+1)からν_a(m',N-X-1)の各列には０を補う。
(Ｌ) この行列{ν_a(m',n')}から次式（１０）を用いて想起画像{u_a(m,n)}が得られる。
【数１０】

【００５８】
発明の実施の形態１では、仮想内視鏡データベースに格納すべき画像として、カメラ画像の回転を５度おきに設定するというステップを用いた。しかし、上述の処理を用いることにより、この回転が不要になる。結果的に、データベースのサイズが、５度おきの回転の場合で、５／３６０＝１／７２になる効果がある。これは、類似度評価の計算時間が１／７２になることを意味する。さらに、画像に雑音が混入した場合でも正しく推定が可能になる効果もある。
【００５９】
発明の実施の形態６．
この実施の形態のハイブリッドシステムでは、検査対象のＭＲＩ、ＣＴなどの３次元画像データに基づく仮想内視鏡画像を用いずに、硬性内視鏡像をＭＲレンダリング像で補間する。硬性内視鏡像の場合は、従来の技術として説明した機械方式（例えば、Kosugi et al, An Articulated Neurosurgical Navigation System Using MRI and CT Images (IEEE Transactions on Biomedical Engineering, Vol. 35, No. 2, February 1988)、および、米国特許５０５０６０８号 (E. Watanabe, Y. Kosugi, and S. Manaka: System for indicating a position to be operated in a patient's body）に相当する。図１５に示すように、ロータリーエンコーダを有する多関節アームナビゲーション装置により硬性内視鏡先端の位置座標および姿勢を求めることができる。図１６にハイブリッドシステムでの処理の流れ図を示す。まず、ランドマークとなりそうな場所の硬性内視鏡画像と硬性内視鏡先端の３次元位置と姿勢を複数地点で手術準備のために取得して、データベース化する（Ｓ２０）。続いて、光ファイバー方式のやわらかい内視鏡に交換して、手術を行う（図１７参照）。ここで、光ファイバー内視鏡を進行させながら得られた光ファイバー内視鏡画像と類似度が高い硬性内視鏡画像をデータベースから選ぶ（Ｓ２２）。そして、類似度が高く画像が選ばれた地点の近傍においては、異種画像の類似度評価により局所的な探索を行う（Ｓ２４）。この場合、硬性内視鏡と光ファイバー方式の内視鏡画像は同種画像であり、データベースによる類似度の評価は容易である。したがって、ランドマークとなる要所要所では、精度良く光ファイバー方式の内視鏡先端位置を知ることができる。また、これらのランドマーク近傍においては、異種画像の類似度評価になるが、局所的な探索で良いので、似たような別の場所の誤認知の確率を低減でき、安全なナビゲーションが実行できる。そもそも似たような場所を間違えないようにするための道具なので、ミスは許されないため、本手法は有用である。そして、求まった仮想内視鏡画像に対するカメラの位置と姿勢の情報を出力する（Ｓ２６）。そして、この結果に基いて、図２や図９で説明したように重畳して表示を行う。
【００６０】
発明の実施の形態７．
また、類似性については、適応的非線形写像実施後の最終マッチングスコアによる類似度評価を用いる方法も考えられる。この処理が有効な場合は、これまで述べてきた方法のいずれかで類似度を評価しても、十分高い類似度が得られなかった場合である。もし内視鏡挿入に伴い組織が局所的に歪んだ場合、実内視鏡画像に含まれる空間的な非線形ひずみを考慮して類似度を評価する必要がある。具体的には、内視鏡画像または計算した仮想内視鏡画像を空間的に弾性変形のようなひずみを与えて変形させながら、類似度が上昇する変形パターンを探索する。このような適応的非線形写像の詳細は、特許公報第２８６００４８号「非線形画像変換装置および標準画像計算方法」に記載されているので、詳細は省略するが、図１８と図１９で簡単に説明する。
【００６１】
図１８は、適応的非線形写像実施後の最終マッチングスコアによる類似度評価を用いる処理の流れ図である。まず、第１画像のデータから、第１画像を所定の数に分割して小エリアのデータを生成し、第１画像層のデータとして保存する（Ｓ３０）。例えば、図１９に示すように４×４ 個（１６個）の小エリアに分割される。次に、第２画像のデータを保存する（Ｓ３２）。たとえば、第１画像が実内視鏡画像で、第２画像が仮想内視鏡画像である。
【００６２】
そして、第１画像の各小エリアのデータに対して、各小エリアの位置を示す位置ベクトルに移動ベクトルを加算して、位置をスライドさせる（Ｓ３４）。なお、各小エリアに対応する移動ベクトルＤの初期値はいずれも０ベクトルである。次に、スライド後の第１画像の各小エリアと第２画像の各小エリアとの類似度が最も高い移動量（増分ベクトル）を各小エリアごとに探索する（Ｓ３６）。類似度の評価はこれまで述べてきた方法のいずれかを用いる。すなわち、相関係数、２乗誤差などである。
【００６３】
次に、小エリアごとにばらばらに計算した移動ベクトルを平滑化する（Ｓ３８）。これは隣接する小エリアごとの移動ベクトルの変化を滑らかにするためである。ただし、滑らかにする度合はステップＳ３４ないしＳ３８の処理を反復する反復ループの周回回数により変化させる。このように、ループの周回回数により平滑化の度合を変化させるので、この処理は適応的非線形写像と呼ばれる。ここで、最初はあまり平滑化せずに、個々の小エリアごとの特性を重視し、だいたい局所的には類似度が向上したら、最後に周囲との連続性を考慮して、移動ベクトルを滑らかに変化させる。このように、反復するため、反復ループ内では移動ベクトルの計算は前回の移動後の画像から始める。すなわち、移動量の増分ベクトルをループを反復するたびに計算していく。したがって、反復２回目以降は増分ベクトルを計算後に、全体的な移動ベクトルを求める計算（ステップＳ４０）が必要になる。類似度が十分向上すれば、すなわち、マッチングが成功すれば（Ｓ４２でＹＥＳ）、全画素に対する移動ベクトルを計算する（Ｓ４４）。これにより、操作者は画面上で移動ベクトルを考慮して表示された実内視鏡画像と仮想内視鏡画像を観察できる。
【００６４】
発明の実施の形態８．
発明の実施の形態１でも説明したように、実内視鏡画像と仮想内視鏡画像は、互いに回転の自由度があるので、カメラを５度おきに回転して仮想内視鏡画像を生成してデータベースを構築する。次に、類似度が最大の仮想内視鏡画像を検索するために、データベース内のすべての画像を評価する必要がある。これは、カメラの回転角と実内視鏡画像と仮想内視鏡画像の類似度との関係があらかじめ不明であるためやむをえない。図６の実内視鏡画像と仮想内視鏡画像の類似度と回転角の関係を計算した１例を以下に示す。回転は仮想内視鏡画像に対して行った。
【００６５】
図２０は、直交座標系で類似度を評価した結果のグラフである。類似度としては、あらかじめ実内視鏡画像と仮想内視鏡画像の各画像の最大値を１に規格化した後で、対応する画素ごとの強度差の２乗和(Error)を用いた。もちろん、段落００３１で説明した相関値を用いてもよい。類似度が画素強度値の２乗和（縦軸ではErrorと表記）で与えているので、その最小値を与えるときに最大の類似度となる。角度（Rotation）を変化させた場合に、最大の類似度は角度０〜３０度で与えられるが、１３０度付近にも極小値が存在し、通常の分割法、２次補間法などの最適化手法を用いて探索を高速化した場合に、真の角度が求められない可能性を示している。また、回転角が０〜３０度とかなりあいまいな解になっている。
【００６６】
ところが、上記２つの画像を極座標に変換した後、類似度を評価すると、図２１のグラフのように、誤差（Error）の最小値は、他の極小値もなく、回転角（Rotation）０度として明確に与えられることが分かった。このため、通常の分割法、２次補間法などの最適化手法を用いて探索を最適化した場合に、真の角度を求めることができることを示している。なお、変換前の画像（直交座標系）をＡ(ｘ，ｙ)、極座標系に変換後の画像をＡ^＊(ｒ、theta)とすると、
ｒ＝（Ｘ^２＋Ｙ^２）^１／２、 theta＝ｔａｎ^−１（ｙ／ｘ）
により、極座標系に変換後の画像Ａ^＊(ｒ、theta)の各成分を計算できる。以上から、あらかじめ画像を極座標系に変換した後に類似度を評価すると、評価が高速化できる効果があることがわかった。
【００６７】
発明の実施の形態９．
次に、仮想内視鏡画像データベースの探索を高速化する方法を説明する。ここで、内視鏡を体内に導入した初期位置情報を用いて、仮想内視鏡画像データベースを十分絞り込んで探索する。図２２は、その処理の流れ図を示す。すなわち、ＭＲＩ画像またはＣＴ画像を取得するときに、内視鏡を体内に導入する初期位置を液体を封入した微小球マーカを体表に貼り付けることにより、仮想内視鏡画像の初期カメラ位置を決定する（Ｓ５０）。さらに内視鏡を前進させた場合に、探索範囲を常に前回の探査位置の近傍とする（Ｓ５２）。このとき、前回と今回の内視鏡の挿入距離の差分に相当する探索半径を基に、仮想内視鏡データベース内の探索を実施する（Ｓ５４）。これにより探索を高速化・高精度化できる。
【００６８】
発明の実施の形態１０．
上述の各種処理により内視鏡先端位置が推定される。ここで、好ましくは、過去に推定した内視鏡先端位置を時系列で並べたときに外挿される現在の予測位値から著しく逸脱した位置を解としようとした場合に、その解をリジェクトする。図２３は、その処理の流れ図を示す。内視鏡位置の推定値を入力する（Ｓ６０）。一方、過去に推定した内視鏡先端位置を時系列で並べたときに外挿される現在の予測位値を計算し（Ｓ６２）、内視鏡位置の推定値と比較する（Ｓ６４）。２つの値の差が所定の値より小さければ採用するが、２つの値の差が所定の値以上であれば、推定値を採用しない。これにより、探索の誤りを防止する。
【００６９】
【発明の効果】
本発明による内視鏡誘導装置および方法によれば、検査対象の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報からなるデータベースと実内視鏡画像を実時間で比較することにより、高度な画像診断技術によって与えられた患部へ、迅速かつ正確に内視鏡を誘導することが可能になる。たとえば、腫瘍摘出手術にあっては、残存する腫瘍組織を最低限に抑え、かつ短時間で、また患者への侵襲を最小限にとどめた形で手術を実施することが可能になり、ひいては患者の延命、早期退院を実現することが可能になる。
【００７０】
また、検査対象の３次元画像データ（ＣＴ画像、ＭＲＩ画像などの診断画像）に基づいて仮想内視鏡画像と比較するので、実内視鏡画像との比較が容易になる。
【００７１】
また、硬性内視鏡により得られた画像と、その画像を得たときの硬性内視鏡先端の位置および姿勢の情報を用いるので、硬性内視鏡と光ファイバー方式の内視鏡画像は同種画像であるため、データベースによる類似度の評価は容易になる。
【００７２】
また、内視鏡先端部の位置と姿勢を、２次元断面表示または３次元表示された検査対象の画像に重畳して表示するので、内視鏡手術従事者は、位置と方向の判断を誤ることなく複雑な手術を続行できる。
【００７３】
また、内視鏡画像にも体内表層下の患部（腫瘍など）を重畳して表示できるので、正確な内視鏡下での手術を実施できる。
【００７４】
また、さらに、検査対象の３次元画像データに基づいて仮想内視鏡画像を計算する画像生成手段を備えるので、多数の内視鏡先端の位置と姿勢での仮想内視鏡画像からなるデータベースを構築できる。
【００７５】
また、ジョイントヒストグラムまたは２次元ヒストグラムと呼ばれる図を用いて異種画像の位置合わせを行うので、最も類似度が高い仮想内視鏡画像を容易に決定できる。
【００７６】
また、前記の比較手段は相互情報量を用いるので、最も類似度が高い仮想内視鏡画像を容易に決定できる。
【００７７】
また、回転操作に不変な複素数連想処理を採用するので、仮想内視鏡画像のデータベースの小規模化および対ノイズ性能の向上が図れる。
【００７８】
また、前記の比較手段は適応的非線形写像実施後の最終マッチングスコアによる類似度を用いるので、最も類似度が高い仮想内視鏡画像を容易に決定できる。
【００７９】
また、前記の比較手段は画像を極座標系に変換した後に類似度を評価するので、評価が高速化できる。
【００８０】
また、内視鏡を前進させた場合に、探索範囲を前回の探索範囲の近くとして仮想内視鏡画像のデータベース内の探索を実施するので、探索を高速化できる。
【００８１】
また、好ましくは、内視鏡先端の推定位置が予測位値から著しく逸脱した位置である場合にその推定位置を採用しないので、誤った推定を防止できる。
【図面の簡単な説明】
【図１】 内視鏡誘導装置のブロック図
【図２】 内視鏡誘導プログラムの流れ図
【図３】 仮想内視鏡画像データベース計算の流れ図
【図４】 仮想内視鏡画像データベースの生成における視点情報の設定処理の流れ図
【図５】 内視鏡画像のグレースケール化を用いた探索処理の流れ図
【図６】 最も一致する仮想内視鏡画像データベース内に蓄積された画像を決定した処理の一例を示す図
【図７】 現時点の内視鏡先端部の３次元位置およびカメラの向きを直交３平面画像上に矢印として重畳して表示した図
【図８】 現時点の内視鏡先端部の３次元位置およびカメラの向きを直交３平面画像上に矢印として重畳して表示した図
【図９】 内視鏡誘導プログラムの流れ図
【図１０】 腫瘍位置を重畳して表示した図
【図１１】 画像比較処理の流れ図
【図１２】 実内視鏡画素値と仮想内視鏡画素値の２次元グラフ
【図１３】 相互情報量を用いる画像比較処理の流れ図
【図１４】 回転に不変な連想記憶システムの基本的な考え方を説明するための図
【図１５】 硬質内視鏡を用いて内視鏡画像とその姿勢情報を得ることを示す図
【図１６】 ハイブリッドシステムでの処理の流れ図
【図１７】 光ファイバー方式の軟内視鏡に交換して手術を行う状況を示す図
【図１８】 適応的非線形写像実施後の最終マッチングスコアによる類似度評価を用いる処理の流れ図
【図１９】 小エリアへの分割を示す図
【図２０】 直交座標系における実内視鏡画像と仮想内視鏡画像の類似度と回転角の関係のグラフ
【図２１】 極座標系における実内視鏡画像と仮想内視鏡画像の類似度と回転角の関係のグラフ
【図２２】 仮想内視鏡画像データベースの探索を高速化する処理の流れ図
【図２３】 現在の予測位値から著しく逸脱した位置を採用しない処理の流れ図
【符号の説明】
１０ ネットワークコントローラ、 １２ ハードディスク、 １４ ＣＰＵ、 １６ 入力装置、 １８ メモリ、 ２２ モニター。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to navigation of a flexible endoscope that is freely refracted.
[0002]
[Prior art]
When performing surgery such as neurosurgery, the operator should be able to grasp the positional relationship between the patient's surgical operation site and tomographic images (three-dimensional images) such as computer-linked tomography (CT) and magnetic resonance imaging (MRI). Supporting navigation devices are used. As a result, the surgeon can recognize the relative positional relationship between the operation position and the medical image taken at the time of diagnosis.
[0003]
As a main method for measuring the three-dimensional position of an operation site using this navigation device, a mechanical method (for example, Kosugi et al., An Articulated Neurosurgical Navigation System Using MRI and CT Images (IEEE Transactions of Biomedical Engineering, Vol. 35, No. 2, February 1988), and US Pat. No. 5,050,608 (E. Watanabe, Y. Kosugi and S. Manaka: System for indicating a position to be operated in a patient's body) and a stereo vision system (for example, Japanese Patent No. 3152810) Kosugi, Watanabe, Suzuki, Kawakami, Nakagawa: Optical three-dimensional position detection device) The mechanical method is to obtain the tip position coordinates with an articulated arm navigation device having a rotary encoder. Recognizes the bright spot image installed on the probe by multiple CCD cameras and calculates the three-dimensional position of the probe based on the principle of triangulation A.
[0004]
[Problems to be solved by the invention]
However, when trying to measure the position of the endoscope tip with these devices, in the mechanical method, the arm and the position of the endoscope tip must be connected in a mechanically rigid manner. Such a condition is not satisfied in a fiber type flexible endoscope whose shape can be freely changed. Also, in the stereo vision system, even if a light emitting part is attached to the tip of an endoscope placed inside the body, there is an opaque biological tissue between the CCD camera located outside the body, Is not possible.
[0005]
In order to measure the position of the distal end of the endoscope in a surgical apparatus using a flexible endoscope, 1) the problem of how to generate and register an image corresponding to the three-dimensional position in the body, 2) The question of how to compare the registered image and the image observed from the endoscope 3) How to create a human interface that gives the surgeon the right direction for the endoscope in the surgical environment There is a problem of whether to configure. In addition, 4) It is necessary to develop a calculation algorithm and an attached device for performing the position measurement of the endoscope distal end in real time simply and with high accuracy at the time of surgery.
[0006]
An object of the present invention is to make it possible to easily and accurately determine the position of the distal end portion of an endoscope in a surgery using a flexible endoscope that is refracted freely.
[0007]
[Means for Solving the Problems]
An endoscope guidance apparatus according to the present invention includes a storage unit that stores a database including virtual endoscopic images to be examined and information on the position and posture of the endoscope tip, and an actual flexible endoscope image to be examined. An input means for obtaining; a comparing means for comparing the actual endoscopic image with a virtual endoscopic image in the database and determining a virtual endoscopic image having the highest similarity to the endoscopic image; Determining means for determining the position and posture of the distal end portion of the flexible endoscope corresponding to the actual endoscopic image from the information of the determined virtual endoscopic image; Here, the actual flexible endoscopic image is an image observed with a real flexible endoscope, and the actual endoscopic image is an image observed with a real endoscope.
[0008]
In the endoscope guidance device, for example, the virtual endoscopic image is an image generated based on three-dimensional image data to be examined.
[0009]
In the endoscopic guidance device, for example, the virtual endoscopic image and the information on the position and orientation of the endoscope tip are the image obtained by the rigid endoscope and the rigidity when the image is obtained. This is information on the position and posture of the endoscope tip.
[0010]
In the endoscope guiding apparatus, for example, the position and posture of the endoscope distal end determined by the determining means are further superimposed on the image of the inspection target displayed in a two-dimensional cross section or in a three-dimensional display. Display means for displaying on the screen.
[0011]
In the endoscope guiding apparatus, for example, the display unit further superimposes an affected part in the body that is not displayed in the actual endoscope image or a virtual endoscope image having the highest similarity to the actual endoscope image. And display.
[0012]
The endoscope guidance apparatus further includes, for example, an image generation unit that calculates a virtual endoscope image based on the three-dimensional image data to be examined, and the image generation unit includes a set endoscope tip. For each of the positions and orientations, a virtual endoscopic image is acquired by executing an interpolation operation and a rendering operation of the three-dimensional image data based on the position and orientation. A database of large-scale virtual endoscopic images can be constructed by setting and calculating the positions and postures of many endoscope tips.
[0013]
In the endoscope guidance device, for example, the comparison means calculates the pixel value of the real endoscopic image and the pixel value of the virtual endoscopic image at the pixel position (i, j) by using the real endoscopic image. A virtual endoscope image having the highest similarity is searched by searching a virtual endoscopic image distributed over the smallest area when plotted on a two-dimensional graph having pixel values and pixel positions of the virtual endoscopic image as coordinate axes. An image.
[0014]
In the endoscope guidance device, for example, the comparison unit searches a virtual endoscopic image database having the maximum mutual information amount from a virtual endoscopic image database, and selects a virtual endoscopic image having the highest similarity. To do.
[0016]
In the endoscope guidance apparatus, for example, the comparison unit uses the similarity based on the final matching score after performing the adaptive nonlinear mapping.
[0017]
In the endoscope guidance apparatus, for example, when the endoscope is advanced, the comparison means always sets the search range in the vicinity of the previous search range, and determines the insertion distance between the previous and current endoscopes. Based on the search radius corresponding to the difference, a search in the database of virtual endoscopic images is performed.
[0018]
In the endoscope guidance apparatus, for example, the comparison unit selects a virtual endoscopic image having the highest similarity after converting the real endoscopic image and the virtual endoscopic image into the polar coordinate system.
[0019]
  In the endoscope guidance device, for example, the comparison unit has normalized the maximum value of the pixel intensity of each image of the real endoscopic image and the virtual endoscopic image to 1 in advance in the evaluation of the similarity. After the corresponding pixelYourThe sum of squares of the difference in intensity is used.
[0020]
In the endoscope guiding apparatus, for example, the determining unit is configured such that the estimated position of the endoscope tip obtained by the comparing unit arranges the previously estimated endoscope tip positions in time series. The estimated position is not adopted when the position deviates significantly from the current predicted position value extrapolated to. Note that various components in the above-described endoscope guidance apparatus can be combined as much as possible.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
The present invention relates to guidance (navigation) of a freely refracting endoscope. In recent years, surgery using an endoscope has been performed in many medical fields including the field of neurosurgery, but an operator may lose sight of the position of the endoscope tip in the patient. Therefore, humans have focused on the fact that they can move freely in a familiar city without having to use special position detection devices such as GPS. This is due to the existing visual feeling that “this scene has been seen” and the function of the human brain that can associatively search for location information from the scene. In the present invention, the function of retrieving position information from such an image impression is realized on a computer algorithm. Here, data on the relationship between the position and the image obtained by image display such as volume rendering and surgical navigation system from tomographic images such as computer-linked tomography (CT) and magnetic resonance imaging (MRI) is accumulated. In particular, the three-dimensional position information of the endoscope tip operated by an operator such as a surgery is estimated from images registered in the past and provided to the operator.
[0025]
Embodiment 1 of the Invention
FIG. 1 shows a configuration of an endoscope guidance apparatus according to Embodiment 1 of the present invention. This apparatus is connected to a flexible endoscope (not shown) that refracts freely, and assists the operator so that the positional relationship between a surgical operation site of a patient and a tomographic image (three-dimensional image) can be grasped. More specifically, in this apparatus, the network controller 10 reads a diagnostic image such as a three-dimensional image such as a CT image or an MRI image, or an image (endoscopic image) from a real endoscope from the outside. These diagnostic images are stored in the hard disk 12. The CPU 14 executes computer processing in accordance with an endoscope guidance program based on instructions from the input device 16 such as a keyboard and a mouse. Here, the endoscope guidance program stored in the hard disk (recording medium) in the hard disk device 12 is loaded into the memory 18 at the time of execution. The processing result image is displayed on the display monitor 22 via the video controller 20.
[0026]
FIG. 2 shows functional blocks in the endoscope guidance program. In the virtual endoscope image database calculation step (S10), three-dimensional image data such as MRI and CT to be examined are inputted, a virtual endoscope image is calculated based on the inputted three-dimensional image data, and a hard disk device 12 is stored in the database. When endoscopic image data to be examined is input in surgery or the like, in the comparison step (S12), the virtual endoscopic image in the database and the image of the examination target observed with the real endoscope (actual endoscope) And the current position and posture of the endoscope tip are determined in real time. Next, in the display step (S14), the current position and posture of the endoscope tip obtained in the comparison step are displayed superimposed on the MRI image or CT image displayed on the screen of the monitor 22. To do.
[0027]
In the calculation of a virtual endoscopic image, it is necessary to calculate a virtual endoscopic image based on three-dimensional image data such as MRI and CT to be examined. For this, a method for volume rendering of three-dimensional image data is known, and that method may be used. Details of the method are described, for example, in Rubin, Perspective Volume Rendering of CT and MRI Images: Applications for Endoscopic Imaging (Radiology, 199, 321-330, 1996). Briefly, 3D image data such as MRI and CT to be inspected is 3D volume data. The image that can be observed with the camera at the tip of the endoscope when the endoscope is inserted into the examination object is set at this point, and the light bundle is diverged from there to follow the straight path of each light. Simulation is possible if the color and transparency of the volume element to be inspected are calculated. For example, when the value in each volume element of MRI is small, it is common to be an air region or a bone region. In addition, when the value in each volume element of MRI is large, it is generally a region rich in moisture such as soft tissue. Therefore, if the value in each volume element of MRI is small and the transparency is increased and the transparency is lowered as the value in each volume element of MRI increases, the air region and the soft tissue region can be distinguished and distinguished three-dimensionally. .
[0028]
In the virtual endoscopic image database calculation (FIG. 2, S10), an image simulating a large number of endoscopic images by variously changing the observation point (viewpoint) and the observation posture (virtual camera direction). (Virtual endoscopic image) is obtained, and the virtual endoscopic image and viewpoint information are stored in a database in the hard disk device 12. FIG. 3 shows the process in more detail as a flowchart. First, a DICOM format CT or MRI image used as standard in the hospital network is read (S100). Next, the opacity and color table for the voxel value are defined (step S102). Regarding the opacity with respect to the voxel value, the rendering speed was increased when the opacity below a predetermined threshold was zero (completely transparent) and the opacity above the threshold was 1 (completely opaque). Next, an interpolation calculation method is set (step S104). As an interpolation calculation method, three-dimensional linear interpolation was used. Next, shadow processing parameters are set (step S106), and a rendering method is selected (step S108). The shading parameters were adjusted with multiple values by trial and error. In addition, volume rendering based on ray casting was adopted as a rendering method. It should be noted that high-speed calculation could be achieved by increasing the calculation step size on the light ray as much as possible within the range where no artifacts are included in the display. Next, viewpoint information (camera) position, rotation center, and vertically upward viewpoint information are set (step S110). The viewpoint information was determined based on the volume rendering display of the entire target image by parallel projection with the camera position as the external position. Next, a viewing angle is set (step S112). As the viewing angle, the value of the viewing angle in the endoscope used at the same time was input. Next, rendering is executed and a virtual endoscopic image is acquired (step S114). Finally, the virtual endoscopic image and viewpoint information are stored in a database file (step S116). The viewpoint information (observation point and observation attitude) is variously changed, and the processing of steps S110 to S116 is repeated to obtain an image (virtual endoscopic image) simulating a large number of endoscopic images.
[0029]
FIG. 4 specifically shows setting of viewpoint information in the process of generating the virtual endoscopic image database (FIG. 2, S10). This process corresponds to steps S110 and S112 in FIG. Here, it is necessary to install virtual cameras at various positions and postures. Regarding the camera position, 1) First, an area of the camera position assumed when searching with a real endoscope is determined (S120), and then all points that have moved in this area in three axis directions, for example, in 10 mm steps, are determined. The camera position is adopted (S122). Next, for the camera posture, 2) the rotation of the camera image is set every 5 degrees, 3) the end position of the camera image is translated by 1/10 of the image size, and 4) the image by the virtual camera The enlargement / reduction ratio is changed by 20% from 50% to 200% (S124). These parameters 1) to 4) are changed independently (S126) to give a large number of camera positions and postures. A large-scale virtual endoscopic image database is generated by generating a rendering image based on this. When calculating a virtual endoscope image, it is preferable that the viewing angle of the virtual endoscope and the relative arrangement of the camera rotation center and the camera position of the virtual endoscope are the same as those of the real endoscope.
[0030]
By using such a database, in the image comparison step (FIG. 2, S12), the calculated virtual endoscopic image is compared with the image observed with the real endoscope (real endoscopic image). A virtual endoscopic image having the highest degree of coincidence with a real endoscopic image can be searched from within the database. In the image comparison step (S12 in FIG. 2), the degree of coincidence between the image stored in the virtual endoscopic image database and the current endoscopic image is checked, and the image is stored in the virtual endoscopic image database that most closely matches. The image is determined, and the corresponding virtual camera position and orientation are obtained. As a result, it is possible to know at which position and the direction in which the current endoscope distal end portion is to be examined (for example, in the human brain). By displaying this information superimposed on the two-dimensional or three-dimensional MRI image or CT image of the monitor 22, the endoscopic surgical operator can continue complicated surgery without making a mistake in determining the position and direction. it can.
[0031]
A specific method is shown in the flowchart of FIG. First, the virtual endoscopic image is displayed on a gray scale in an off-line manner, and the change in shading of the virtual endoscopic image is adjusted so as to match the real endoscopic image captured at the same place as much as possible (S130). Specifically, if MRI or CT imaging is performed while the endoscope is placed in the body, and the real endoscopic image and virtual endoscopic image of the same part are acquired, the above color adjustment can be interactively performed. Become. If the function for converting the pixel intensity of the virtual endoscope to gray scale is interactively defined, the shade of the virtual endoscope image can be arbitrarily changed. Next, a virtual endoscopic image with the maximum correlation coefficient is searched from the virtual endoscopic image database (S132). Next, information on the position and posture of the endoscope tip with respect to the obtained virtual endoscope image is output (S134).
[0032]
More specifically, a method of calculating a correlation coefficient between images that is often used is suitable for determining the degree of coincidence. Since the correlation between color information is generally not high in a virtual endoscope and a real endoscope image, it is desirable to perform correlation calculation after converting a color image to a grayscale image. Therefore, the virtual endoscopic image is converted to gray scale offline, and adjustments are made so that the shade change of the virtual endoscopic image matches the real endoscopic image taken at the same place as much as possible. By defining a function that converts the pixel intensity of the virtual endoscope into a gray scale, the shading can be arbitrarily defined. Color image (R, G, B color intensity_R, I_G, I_BCan be calculated by the following equation (1), for example.
[Expression 1]

[0033]
Next, correlation calculation between the virtual endoscopic image and the endoscopic image is performed. For the endoscope image pixel value A (i, j) and the virtual endoscope image pixel value B (i, j) at the pixel position (i, j), the correlation coefficient r is defined by the following equation (2). The
[Expression 2]

Here, U and V are vectors, in which pixel values of an endoscopic image and a virtual endoscopic image are arranged, and are specifically defined by the following equations (3) and (4).
[Equation 3]

[Expression 4]

U · V represents the inner product of the vectors U and V, and | U | represents the size of the vector U. The correlation coefficient r is different from the correlation coefficient of ordinary statistics in that the average value of the vectors U and V is not subtracted. However, when evaluating the degree of coincidence of two images including a DC component, (2) is preferred. If the mean square of the residual is used for the evaluation function, it is sufficient to set | U | = | V | = 1 in advance. If this is not done, pixel differences between images with different scales will be evaluated, and no meaning will be found.
[0034]
Incidentally, since the virtual endoscopic image and the real endoscopic image are different from each other, the pixel intensity is generally not proportional to each other. In order to calculate the correlation coefficient, the corresponding pixel intensities of the two types of images have a maximum correlation when they are proportional to each other. Therefore, it is necessary to perform preprocessing so as to increase the correlation. Such a problem can be dealt with by an empirical method for each patient and site.
[0035]
FIG. 6 shows an example of a process for determining an image stored in the virtual endoscope image database that most closely matches. The left side is the current endoscopic image 30, and the right side is the best matching virtual endoscopic image 32 in the database.
[0036]
FIG. 7 shows, in the display step (FIG. 2, S14), the obtained three-dimensional position and camera orientation of the endoscope at the present time are superimposed on the orthogonal three-plane images 40a, 40b, and 40c as arrows. This is the displayed result. The size of the arrow is displayed as a projection length on three planes. For example, the endoscope tip position is made to correspond to the starting points of the arrows 42a, 42b, and 42c, and the arrow vector is set as the camera direction vector. As a result, the treating physician can correctly recognize the position of the endoscope tip and perform endoscopic surgery at an accurate position. FIG. 8 shows a case where the same display is displayed superimposed on the three-dimensional rendering image. Volume rendering or surface rendering can be used as the three-dimensional rendering image. When volume rendering is used, there is an advantage that contour extraction for each tissue is unnecessary.
[0037]
Embodiment 2 of the Invention
FIG. 9 shows an endoscope guidance program according to the second embodiment of the invention. Here, after the processing of FIG. 2, the affected part (tumor etc.) under the surface of the body that cannot be seen with the endoscope is displayed on the virtual endoscopic image by volume rendering, and the surface layer is translucently displayed. Are aligned (S16). As a result, the affected part (tumor etc.) below the surface of the body can be additionally displayed on the endoscopic image, and an accurate endoscopic operation can be performed. The condition for displaying such a tumor in the body by volume rendering is that the MRI image intensities of normal tissue and tumor tissue are greatly different, but this condition is known to hold in many cases. .
[0038]
As an example, FIG. 10 shows an example in which the position of the affected part (in this case, a tumor) under the body surface layer is superimposed on the image shown in FIG. The affected part under the surface of the body is displayed on the virtual endoscopic image 32 by superimposing the surface layer in a translucent manner by volume rendering. Further, the affected part 34 below the surface of the body is additionally displayed on the endoscopic image 30.
[0039]
Embodiment 3 of the Invention
In the first embodiment described above, the virtual endoscopic image is grayscaled (FIG. 5, S120). By the way, the gray scale display of the actual endoscopic image is determined by the color of the tissue surface (ratio of R, G, B and scaling value, that is, brightness), and the color is determined by the blood flow state and the metabolic state of the patient's tissue surface layer. On the other hand, the color when a virtual endoscopic image is constructed from a CT or MRI image is determined by a correspondence function between the CT value or MRI intensity and the display color. This corresponding function can be set arbitrarily. Therefore, when the patient changes, the tissue surface color varies depending on the individual. Therefore, it is generally inappropriate to use the offline measurement result of another patient by the method described in the third embodiment of the invention. I know that there is. It can also be understood that it is generally inappropriate to use offline measurement results of another tissue of the same patient because the blood flow state and metabolic state of the tissue surface layer change if the tissue is different even in the same patient.
[0040]
Because of such circumstances, ideally, grayscale shading or color matching between the real endoscopic image and the virtual endoscopic image must be adaptively automatically calculated for each image. However, since this is complicated, the processing of this embodiment that avoids this will be described. Here, a diagram called a joint histogram or a two-dimensional histogram is used. This method is known as a method for aligning different types of images. For example, it is described in a book published by CRC Press in 2001, Medical Image Registration, pages 57-59.
[0041]
FIG. 11 shows image comparison processing in this embodiment. Specifically, as shown in FIG. 12A, the pixel value A (i, j) of the real endoscope image and the pixel value B (i, j) of the virtual endoscope image at the pixel position (i, j). j) is used to plot two-dimensionally on the graph as points (A (i, j), B (i, j)) (S131), and a virtual endoscopic image distributed over the smallest area is retrieved from the database. Search is performed (S133). Then, information on the position and orientation of the camera corresponding to the obtained virtual endoscopic image is output (S134). The determination of the smallest area includes a method in which an operator interactively performs, a method of drawing a closed curve including plotted points, and a calculation of a correlation coefficient by an inner product operation of vectors described in the first embodiment of the invention. . Note that the distribution over the smallest area indicates that there is a strong relationship between the pixel value displayed in the real endoscopic image and the pixel value displayed in the virtual endoscopic image. The strong relationship includes a case where a so-called positive correlation is strong and a case where a negative correlation is strong, but also includes a more complicated case (see FIG. 12B). Even when such a complex relationship is strong, the calculation of the correlation coefficient by the inner product calculation of the vectors described in the first embodiment is effective. In any case, the distribution over the smallest area means that there is a high possibility that the two images are the same tissue viewed from the same camera position.
[0042]
Embodiment 4 of the Invention
As a method in which the process using the corresponding function of the third embodiment of the invention is further expanded, it is conceivable to use a technique for evaluating the mutual information amount in the image comparison process. FIG. 13 shows the flowchart. Registration (positioning) of different types of images using mutual information is described on pages 60 to 61 of the literature mentioned in the third embodiment of the invention. First, the mutual information amount is calculated using the pixel values of the real endoscopic image A (i, j) and the virtual endoscopic image B (i, j) at the pixel position (i, j) (S131 ′). The mutual information amount qualitatively gives how well one image information can explain the other image information. For example, the mutual information amount I (A, B) given by the following equation (5) is: When the maximum is reached, it is determined that the two images have been aligned.
[Equation 5]

Where p^T _AB(a, b) is the joint probability distribution function of image A and image B, and p^T _A(a) and p^T _B(b) is a marginal probability distribution function. The definition of the mutual information amount is not limited to the above, and various other proposals may be used. Next, a virtual endoscopic image that maximizes the mutual information amount is searched from the virtual endoscopic image database (S133 ′). Then, information on the position and orientation of the camera corresponding to the obtained virtual endoscopic image is output (S134).
[0043]
Embodiment 5 of the Invention
When using correlation coefficient, square error, mutual information, etc. for similarity evaluation as described above, the virtual endoscopic image that maximizes the similarity needs to exist in the virtual endoscopic image database Therefore, it is inevitable to increase the scale of the database. In general, such processing needs to be calculated offline, and it may be difficult to apply it to emergency patients who need emergency surgery. Furthermore, it may be considered that the estimation of the optimal virtual endoscopic image fails when noise is mixed in the endoscopic image. Therefore, in the embodiment of the present invention, the database is reduced in size and the performance against noise is improved by adopting associative processing which is one of the brain functions. In order to detect the position by the associative process from the image obtained by the endoscope, the endoscope is expected to rotate at an arbitrary angle during insertion. Is required to be realized.
[0044]
Below, Rotation-Invariant Image Association for Endoscopic Positional Identification Using Complex-Valued Associative Memories (Springer, Proceedings of the 6th International Work-Conference on Artificial and Natural Neural Networks Granada, Part II, published by Aoki et al. pp.369-376), an overview of rotation-invariant image associative processing for detecting an endoscope position using a complex-type associative memory is described. The process using the associative memory is a memorization process (phase 1) for storing a necessary pattern in advance, and then an incomplete pattern of the memory pattern (mixing of noise or partial information of the pattern is missing) , A recollection process (phase 2) for associating and outputting a complete memory pattern rather than the incomplete pattern.
[0045]
The memorizing process in phase 1 is a process of determining the connection weight between neurons from the pattern to be stored, and information on the storage pattern is stored in a multi-distributed manner in the connection weight between neurons. In the recall process in phase 2, each neuron updates its state one after another according to a predetermined state transition rule. By applying a complex type associative memory model that is an extension of the real number type, it becomes possible to easily handle multi-value pattern information. In particular, by combining a complex type associative memory model (CAMM) and a two-dimensional discrete Fourier transform process (2-D DFT), a grayscale image associative system is realized.
[0046]
With reference to FIG. 14, an outline of a method for realizing an image association system that is invariant to a rotation operation will be described. In this system, a circular image is handled as shown in FIG. The following description is common to the inscription process and the recall process.
[0047]
(A) First, the circular image shown in FIG. 14A is converted into a rectangular image as shown in FIG. Then, the rotation operation in the θ direction centered on 0 in the circular image is replaced with the shift operation in the n direction (lateral direction) only in the rectangular image.
[0048]
(B) A two-dimensional discrete Fourier transform process (2-D DFT) is performed on the figure converted into the format shown in FIG. The result of Fourier transform is given as shown in FIG. Here, the four corners represent low-frequency spatial frequency components, and the central portion represents high-frequency spatial frequency components.
[0049]
(C) Each component of the Fourier transform of FIG. 14C is ν (m ′, n ′), and ν (m ′, n ′) = | ν (m ′, n ′) | exp (α (m ', n')). The following expression (6), (7) is used to perform the process of multiplexing the amplitude information of ν (m ′, n ′) into the phase information, and the matrix {χ_phase(m ', n')} is generated. In equation (6), | ν_max(m ′, n ′) | represents the maximum value among the elements | ν (m ′, n ′) |. Equation (7) is χ_phaseDefine (m ', n'). Thus the image information_phaseBy converting to the format (m ′, n ′), the image information can be expressed by the complex neuron shown in FIG.
[Formula 6]

[Expression 7]

[0050]
(D) Thus, the image information is the above χ_phaseThe data is converted into the form (m ′, n ′) and given to the complex type associative memory model (CAMM).
[0051]
(E) Next, χ_phasePhase quantize (m ', n').
[0052]
(F) Usually, χ_phaseIf the CAMM is configured using all the components (m ′, n ′), the number of neurons becomes very large. Therefore, as shown in FIG. The CAMM is constructed ignoring the components. CAMM is then χ_phaseIt is configured for each column in the low frequency region of (m ′, n ′). For example, the matrix {χ_phaseUsing each column of (m ′, n ′)} from 0 to X and from NX to N−1, the number of CAMMs to be created is 2X + 1. A determination of the connection load between the CAMM neurons is made.
[0053]
The following is a description of the recall process.
(G) Attention is paid to the following property of the two-dimensional discrete Fourier transform (2-D DFT). A two-dimensional discrete Fourier transform of an image shifted by q in only the n direction is expressed as follows.
[Equation 8]
ν (m ', n') = DFT {u (m, n)}
Then, a two-dimensional discrete Fourier transform of an image u (m, n-q) obtained by shifting u (m, n) by q only in the n direction is given as follows.
[Equation 9]
DFT {u (m, n-q)} = ν (m ', n') exp (-iθ_Nn'q)
Where θ_N = 2π / N
In other words, exp (-isθ_NOnly the term n'q) is added.
(H) As described in (F), the matrix {χ_phaseIf the CAMM is configured for each column of (m ′, n ′)}, since the value of n ′ is equal in one CAMM, the influence term exp (−iθ_NThe value of n'q) is the same for each neuron. That is, for each CAMM, the effect of the image rotation operation is exp (-isθ_N) Is only added.
[0054]
(I) On the other hand, CAMM is exp (-isθ_N) Has the property of absorbing the influence of () (invariant to phase shift). State pattern x₁Is memorized as the equilibrium state of CAMM, state x₁Sθ_NThe state exp (-isθ where the phase is shifted by (s is an arbitrary integer)_N) x₁Is also in CAMM equilibrium. (However, in this case, the quantization number K of the complex neuron is set to an integer multiple of N.) In other words, CAMM is x₁Exp (-isθ_N) x₁Also memorize equally without distinction. Thus, an associative memory system that is invariant to rotation can be realized by using the properties of (H) and (I).
[0055]
(J) The remaining problem is how to reconstruct the recall image from the results recalled by each CAMM. Even if the results recalled by each CAMM are directly subjected to inverse two-dimensional discrete Fourier transform (2-D IDFT) and converted to the real number region, a correct recall image cannot be obtained. From the results recalled by each CAMM, the influence term exp (-isθ_N) Phase needs to be corrected.
[0056]
Therefore, a neuron for detecting the correction amount is newly embedded in each CAMM (thus, the number of neurons in each CAMM is R + 1). This neuron is stored in the CAMM at a predetermined phase (this is set as a reference phase), and the phase of this neuron is checked every time the recall process is completed, and the correction amount is detected from the deviation from the reference phase. Shall.
[0057]
(K) From the recalled result of CAMM correction processing, the matrix ν in the form shown below_aCreate (m ', n'). ν_a(m ', X + 1) to ν_aEach column of (m ′, N−X−1) is supplemented with 0.
(L) This matrix {ν_a(m ', n')} and the recall image {u_a(m, n)} is obtained.
[Expression 10]

[0058]
In the first embodiment of the invention, the step of setting the rotation of the camera image every 5 degrees is used as the image to be stored in the virtual endoscope database. However, this rotation is unnecessary by using the above-described processing. As a result, there is an effect that the size of the database is 5/360 = 1/72 when the rotation is every 5 degrees. This means that the calculation time for similarity evaluation is 1/72. Furthermore, there is an effect that the estimation can be performed correctly even when noise is mixed in the image.
[0059]
Embodiment 6 of the Invention
In the hybrid system of this embodiment, a rigid endoscope image is interpolated with an MR rendering image without using a virtual endoscope image based on three-dimensional image data such as MRI and CT to be examined. In the case of rigid endoscopic images, the mechanical method described in the prior art (for example, Kosugi et al, An Articulated Neurosurgical Navigation System Using MRI and CT Images (IEEE Transactions on Biomedical Engineering, Vol. 35, No. 2, February 1988 ) And U.S. Patent No. 5,050,608 (E. Watanabe, Y. Kosugi, and S. Manaka: System for indicating a position to be operated in a patient's body) As shown in FIG. The position coordinates and posture of the rigid endoscope tip can be obtained by the articulated arm navigation device, and a flowchart of processing in the hybrid system is shown in Fig. 16. First, a rigid endoscope image of a place that is likely to be a landmark and The three-dimensional position and posture of the rigid endoscope tip are acquired for preparation for surgery at a plurality of points and are made into a database (S20). The surgical operation is performed after changing to a paddle endoscope (see FIG. 17), where a rigid endoscope image having a high similarity to the optical fiber endoscope image obtained while the optical fiber endoscope is being advanced is stored in the database. Then, in the vicinity of the point where the image is selected with high similarity, a local search is performed by evaluating the similarity of different images (S24) .In this case, the rigid endoscope and the optical fiber system are used. Since the endoscopic image is the same kind of image and the similarity can be easily evaluated by the database, the position of the endoscope tip of the optical fiber system can be known with high accuracy at the required place as a landmark. In the vicinity of these landmarks, similarity evaluation of different images is performed, but local search is sufficient, so the probability of misrecognition of another similar place can be reduced, and safe navigation is possible. This method is useful because it is a tool to prevent mistakes in similar places in the first place, so mistakes are not allowed, and this method is useful, and the position of the camera with respect to the obtained virtual endoscopic image Posture information is output (S26), and based on this result, as shown in FIG.
[0060]
Embodiment 7 of the Invention
For similarity, a method using similarity evaluation based on a final matching score after adaptive nonlinear mapping is also conceivable. When this processing is effective, a sufficiently high similarity cannot be obtained even if the similarity is evaluated by any of the methods described so far. If the tissue is locally distorted as the endoscope is inserted, it is necessary to evaluate the similarity in consideration of spatial nonlinear distortion included in the actual endoscopic image. Specifically, a deformation pattern in which the degree of similarity increases is searched while the endoscope image or the calculated virtual endoscope image is spatially deformed by applying distortion such as elastic deformation. Details of such an adaptive non-linear mapping are described in Japanese Patent Publication No. 2860048 “Nonlinear Image Conversion Device and Standard Image Calculation Method”, and will be briefly described with reference to FIGS. 18 and 19. .
[0061]
FIG. 18 is a flowchart of processing using similarity evaluation based on the final matching score after adaptive nonlinear mapping. First, from the first image data, the first image is divided into a predetermined number to generate small area data, which is stored as the first image layer data (S30). For example, as shown in FIG. 19, it is divided into 4 × 4 (16) small areas. Next, the second image data is stored (S32). For example, the first image is a real endoscopic image, and the second image is a virtual endoscopic image.
[0062]
Then, the movement vector is added to the position vector indicating the position of each small area for the data of each small area of the first image, and the position is slid (S34). Note that the initial value of the movement vector D corresponding to each small area is 0 vector. Next, the movement amount (increment vector) having the highest similarity between each small area of the first image after sliding and each small area of the second image is searched for each small area (S36). Any of the methods described so far is used to evaluate the similarity. That is, correlation coefficient, square error, and the like.
[0063]
Next, the movement vector calculated separately for each small area is smoothed (S38). This is to smooth the change of the movement vector for each adjacent small area. However, the degree of smoothing is changed according to the number of loops of the iteration loop that repeats the processing of steps S34 to S38. As described above, since the degree of smoothing is changed according to the number of loops, this process is called an adaptive nonlinear mapping. Here, focus on the characteristics of each small area without smoothing at the beginning, and when the similarity is improved locally, the movement vector is finally smoothed considering the continuity with the surroundings. To change. Thus, in order to repeat, the calculation of the movement vector starts from the image after the previous movement in the iteration loop. That is, the increment vector of the movement amount is calculated every time the loop is repeated. Therefore, after the second iteration, after calculating the incremental vector, a calculation for obtaining the overall movement vector (step S40) is required. If the similarity is sufficiently improved, that is, if the matching is successful (YES in S42), the movement vectors for all the pixels are calculated (S44). Thereby, the operator can observe the real endoscopic image and the virtual endoscopic image displayed on the screen in consideration of the movement vector.
[0064]
Embodiment 8 of the Invention
As described in the first embodiment of the invention, the real endoscopic image and the virtual endoscopic image have a degree of freedom of rotation with respect to each other, so the virtual endoscopic image is generated by rotating the camera every 5 degrees. And build a database. Next, all images in the database need to be evaluated in order to retrieve the virtual endoscopic image with the highest similarity. This is unavoidable because the relationship between the rotation angle of the camera and the similarity between the real endoscopic image and the virtual endoscopic image is unknown in advance. An example of calculating the relationship between the similarity and the rotation angle between the real endoscopic image and the virtual endoscopic image in FIG. 6 is shown below. The rotation was performed on the virtual endoscopic image.
[0065]
FIG. 20 is a graph showing the result of evaluating the similarity in the orthogonal coordinate system. As the similarity, after normalizing the maximum value of each image of the real endoscopic image and the virtual endoscopic image to 1 in advance, the square sum (Error) of the intensity difference for each corresponding pixel was used. Of course, the correlation value described in paragraph 0031 may be used. Since the similarity is given by the square sum of the pixel intensity values (indicated as Error on the vertical axis), the maximum similarity is obtained when the minimum value is given. When the angle (Rotation) is changed, the maximum similarity is given at an angle of 0 to 30 degrees, but there is a minimum value near 130 degrees, and optimization such as the normal division method and quadratic interpolation method is performed. This shows the possibility that the true angle cannot be obtained when the search is speeded up using the method. In addition, the rotation angle is 0 to 30 degrees, which is a very ambiguous solution.
[0066]
However, when the similarity is evaluated after converting the above two images into polar coordinates, as shown in the graph of FIG. 21, the minimum value of the error (Error) has no other minimum value, and the rotation angle (Rotation) is 0 degree. As can be seen as clearly given. Therefore, it is shown that the true angle can be obtained when the search is optimized using an optimization method such as a normal division method or a quadratic interpolation method. The image before conversion (orthogonal coordinate system) is A (x, y), and the image after conversion to the polar coordinate system is A^*(r, theta)
r = (X²+ Y²)^1/2Theta = tan^-1(Y / x)
The image A after conversion to the polar coordinate system^*Each component of (r, theta) can be calculated. From the above, it was found that evaluating the similarity after converting the image into the polar coordinate system in advance has the effect of speeding up the evaluation.
[0067]
Embodiment 9 of the Invention
Next, a method for speeding up the search of the virtual endoscopic image database will be described. Here, the virtual endoscope image database is sufficiently narrowed down and searched using the initial position information in which the endoscope is introduced into the body. FIG. 22 shows a flowchart of the processing. That is, when acquiring an MRI image or CT image, the initial position of introducing the endoscope into the body is pasted on the body surface by attaching a microsphere marker in which a liquid is sealed, so that the initial camera position of the virtual endoscopic image is determined. Determine (S50). When the endoscope is further advanced, the search range is always set near the previous search position (S52). At this time, a search in the virtual endoscope database is performed based on the search radius corresponding to the difference between the insertion distances of the previous and current endoscopes (S54). As a result, the search can be speeded up and accurate.
[0068]
Embodiment 10 of the Invention
The endoscope tip position is estimated by the various processes described above. Here, preferably, when a position that deviates significantly from the current predicted position value extrapolated when the endoscope tip positions estimated in the past are arranged in time series, the solution is rejected. . FIG. 23 shows a flowchart of the processing. An estimated value of the endoscope position is input (S60). On the other hand, the current predicted position value extrapolated when the endoscope tip positions estimated in the past are arranged in time series is calculated (S62), and compared with the estimated value of the endoscope position (S64). If the difference between the two values is smaller than the predetermined value, it is adopted, but if the difference between the two values is not less than the predetermined value, the estimated value is not adopted. This prevents a search error.
[0069]
【The invention's effect】
According to the endoscope guiding apparatus and method according to the present invention, by comparing a virtual endoscope image to be inspected with a position and orientation information of an endoscope tip and a real endoscope image in real time. It is possible to guide the endoscope quickly and accurately to the affected area given by the advanced diagnostic imaging technique. For example, in a tumor removal operation, it is possible to perform the operation in a manner that minimizes the remaining tumor tissue, minimizes the invasion of the patient, and thus the patient. It will be possible to achieve longer life and early discharge.
[0070]
Further, since the comparison with the virtual endoscopic image is made based on the three-dimensional image data to be examined (diagnosis image such as CT image and MRI image), the comparison with the real endoscopic image is facilitated.
[0071]
Also, since the image obtained by the rigid endoscope and the information on the position and posture of the rigid endoscope at the time of obtaining the image are used, the endoscope image of the rigid endoscope and the optical fiber system are the same kind of image. Therefore, the similarity evaluation by the database becomes easy.
[0072]
In addition, since the position and orientation of the distal end portion of the endoscope are displayed superimposed on the image to be inspected in two-dimensional section display or three-dimensional display, the endoscopic surgeon makes a mistake in determining the position and direction. Can continue complicated surgery without any problems.
[0073]
In addition, since the affected part (tumor etc.) below the surface of the body can be superimposed and displayed on the endoscopic image, it is possible to perform an accurate endoscopic operation.
[0074]
Further, since the image generation means for calculating the virtual endoscopic image based on the three-dimensional image data to be inspected is provided, a database including virtual endoscopic images at a number of endoscope tip positions and postures is provided. Can be built.
[0075]
Further, since different images are aligned using a diagram called a joint histogram or a two-dimensional histogram, a virtual endoscopic image with the highest similarity can be easily determined.
[0076]
Further, since the comparison means uses the mutual information amount, the virtual endoscopic image having the highest similarity can be easily determined.
[0077]
In addition, since complex number associative processing that is invariant to the rotation operation is adopted, it is possible to reduce the size of the virtual endoscopic image database and improve the anti-noise performance.
[0078]
Further, since the comparison means uses the similarity based on the final matching score after the adaptive nonlinear mapping, the virtual endoscopic image with the highest similarity can be easily determined.
[0079]
Further, since the comparison means evaluates the similarity after converting the image into the polar coordinate system, the evaluation can be speeded up.
[0080]
Further, when the endoscope is moved forward, the search is performed in the database of the virtual endoscope image with the search range close to the previous search range, so that the search can be speeded up.
[0081]
In addition, preferably, when the estimated position of the endoscope tip is a position that deviates significantly from the predicted position value, the estimated position is not adopted, so that erroneous estimation can be prevented.
[Brief description of the drawings]
FIG. 1 is a block diagram of an endoscope guidance device.
Fig. 2 Flow chart of endoscope guidance program
FIG. 3 is a flowchart of virtual endoscope image database calculation.
FIG. 4 is a flowchart of viewpoint information setting processing in generating a virtual endoscopic image database.
FIG. 5 is a flowchart of search processing using gray scale conversion of an endoscopic image.
FIG. 6 is a diagram showing an example of processing for determining an image stored in a virtual endoscopic image database that most closely matches;
FIG. 7 is a diagram in which the current three-dimensional position of the endoscope tip and the direction of the camera are superimposed and displayed as an arrow on an orthogonal three-plane image.
FIG. 8 is a diagram in which the current three-dimensional position of the endoscope tip and the direction of the camera are superimposed and displayed as an arrow on an orthogonal three-plane image.
FIG. 9 is a flowchart of an endoscope guidance program.
FIG. 10 is a diagram showing the tumor position superimposed.
FIG. 11 is a flowchart of image comparison processing.
FIG. 12 is a two-dimensional graph of actual endoscope pixel values and virtual endoscope pixel values.
FIG. 13 is a flowchart of image comparison processing using mutual information.
FIG. 14 is a diagram for explaining the basic concept of an associative memory system that is invariant to rotation;
FIG. 15 is a diagram showing that an endoscope image and its posture information are obtained using a rigid endoscope.
FIG. 16 is a flowchart of processing in the hybrid system.
FIG. 17 is a diagram showing a situation in which surgery is performed with a fiber-optic soft endoscope replaced.
FIG. 18 is a flowchart of processing using similarity evaluation based on a final matching score after adaptive nonlinear mapping is performed.
FIG. 19 is a diagram showing division into small areas.
FIG. 20 is a graph showing the relationship between the degree of similarity and the rotation angle between a real endoscopic image and a virtual endoscopic image in an orthogonal coordinate system.
FIG. 21 is a graph showing the relationship between the degree of similarity and the rotation angle between a real endoscopic image and a virtual endoscopic image in a polar coordinate system.
FIG. 22 is a flowchart of processing for speeding up the search of the virtual endoscopic image database.
FIG. 23 is a flowchart of processing that does not employ a position that deviates significantly from the current predicted position value.
[Explanation of symbols]
10 network controller, 12 hard disk, 14 CPU, 16 input device, 18 memory, 22 monitor.

Claims (13)

検査対象の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報からなるデータベースを記憶する記憶手段と、
検査対象の実軟性内視鏡画像を取得する入力手段と、
前記実内視鏡画像を前記データベース内の仮想内視鏡画像と比較して、前記内視鏡画像と最も類似度が高い仮想内視鏡画像を決定する比較手段と、
決定された仮想内視鏡画像の情報から、前記実内視鏡画像に対応する軟性内視鏡先端部の位置と姿勢を決定する決定手段と
を有する内視鏡誘導装置。Storage means for storing a database consisting of virtual endoscopic images to be examined and information on the position and orientation of the endoscope tip;
Input means for acquiring a real flexible endoscope image to be examined;
A comparison means for comparing the actual endoscopic image with a virtual endoscopic image in the database and determining a virtual endoscopic image having the highest similarity with the endoscopic image;
An endoscope guidance apparatus comprising: a determining unit that determines a position and a posture of a flexible endoscope distal end corresponding to the real endoscopic image from information of the determined virtual endoscopic image. 前記の仮想内視鏡画像は、検査対象の３次元画像データに基づいて生成された画像であることを特徴とする請求項１に記載された内視鏡誘導装置。  The endoscope guidance apparatus according to claim 1, wherein the virtual endoscopic image is an image generated based on three-dimensional image data to be examined. 前記の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報は、硬性内視鏡により得られた画像と、その画像を得たときの硬性内視鏡先端の位置および姿勢の情報であることを特徴とする請求項１に記載された内視鏡誘導装置。  The virtual endoscope image and the information on the position and orientation of the endoscope tip are an image obtained by the rigid endoscope, and information on the position and orientation of the rigid endoscope tip when the image is obtained. The endoscope guidance device according to claim 1, wherein the endoscope guidance device is provided. さらに、決定手段により決定された内視鏡先端部の位置と姿勢を、２次元断面表示または３次元表示された検査対象の画像に重畳して表示装置の画面に表示する表示手段とを備えることを特徴とする請求項１ないし請求項３のいずれかに記載の内視鏡誘導装置。  And a display unit that displays the position and posture of the endoscope tip determined by the determining unit on the screen of the display device in a two-dimensional cross-sectional display or a three-dimensionally displayed image to be inspected. The endoscope guidance device according to any one of claims 1 to 3, wherein: 前記の表示手段は、さらに、実内視鏡画像またはそれと最も類似度が高い仮想内視鏡画像に、当該画像では表示されていない体内の患部を重畳して表示することを特徴とする請求項１ないし請求項４のいずれかに記載の内視鏡誘導装置。  The display means further displays a diseased part in the body that is not displayed on the real endoscopic image or a virtual endoscopic image having the highest degree of similarity with the actual endoscopic image. The endoscope guidance device according to any one of claims 1 to 4. さらに、検査対象の３次元画像データに基づいて仮想内視鏡画像を計算する画像生成手段を備え、この画像生成手段は、設定された内視鏡先端の位置と姿勢ごとに、それに基いて３次元画像データの補間演算とレンダリング演算を実行して仮想内視鏡画像を取得することを特徴とする請求項１ないし請求項５のいずれかに記載の内視鏡誘導装置。  Furthermore, an image generating means for calculating a virtual endoscopic image based on the three-dimensional image data to be examined is provided, and this image generating means is configured based on each of the set position and posture of the endoscope tip. The endoscopic guidance device according to any one of claims 1 to 5, wherein a virtual endoscopic image is obtained by executing interpolation calculation and rendering calculation of the dimensional image data. 前記の比較手段は、画素位置(i,j)における実内視鏡画像の画素値と仮想内視鏡画像の画素値を、実内視鏡画像の画素値と仮想内視鏡画像の画素位置を座標軸とする２次元グラフにプロットしたときに最も少ない面積上に分布する仮想内視鏡画像をデータベースから探索し、最も類似度が高い仮想内視鏡画像とすることを特徴とする請求項１ないし請求項６のいずれかに記載の内視鏡誘導装置。  The comparing means includes the pixel value of the real endoscopic image and the pixel value of the virtual endoscopic image at the pixel position (i, j), the pixel value of the real endoscopic image, and the pixel position of the virtual endoscopic image. 2. A virtual endoscopic image distributed over the smallest area when plotted on a two-dimensional graph having a coordinate axis as a coordinate axis is searched from a database to obtain a virtual endoscopic image having the highest similarity. The endoscope guidance device according to any one of claims 6 to 6. 前記の比較手段は、相互情報量が最大の仮想内視鏡画像を仮想内視鏡画像データベースから探索し、最も類似度が高い仮想内視鏡画像とすることを特徴とする請求項１ないし請求項７のいずれかに記載の内視鏡誘導装置。  The comparison means searches for a virtual endoscopic image having the maximum mutual information amount from a virtual endoscopic image database, and uses the virtual endoscopic image having the highest degree of similarity as a virtual endoscopic image. Item 8. The endoscope guidance device according to any one of Items 7. 前記の比較手段は、適応的非線形写像を実施した後の最終マッチングスコアによる類似度を用いることを特徴とする請求項１ないし請求項８のいずれかに記載の内視鏡誘導装置。The endoscope guiding apparatus according to any one of claims 1 to 8 , wherein the comparison unit uses a similarity based on a final matching score after the adaptive nonlinear mapping is performed. 前記の比較手段は、内視鏡を前進させた場合に、探索範囲を常に前回の探索範囲の近傍とし、前回と今回の内視鏡の挿入距離の差分に相当する探索半径を基に、仮想内視鏡画像のデータベース内の探索を実施することを特徴とする請求項１ないし請求項９のいずれかに記載の内視鏡誘導装置。The comparison means, when the endoscope is advanced, always sets the search range in the vicinity of the previous search range, and based on the search radius corresponding to the difference between the insertion distances of the previous and current endoscopes, The endoscope guidance device according to any one of claims 1 to 9 , wherein a search in a database of endoscopic images is performed. 前記の比較手段は、実内視鏡画像と仮想内視鏡画像をそれぞれ極座標系に変換した後、最も類似度が高い仮想内視鏡画像を選ぶことを特徴とする請求項１ないし請求項１０のいずれかに記載の内視鏡誘導装置。Comparison means of said After converting the virtual endoscopic image and real endoscopic image in each polar coordinate system, according to claim 1 to claim, characterized in that selecting the highest similarity virtual endoscopic image 10 The endoscope guidance device according to any one of the above. 前記の比較手段は、類似度の評価において、あらかじめ実内視鏡画像と仮想内視鏡画像の各画像の画素強度の最大値を１に規格化した後、対応する画素ごとの強度差の２乗和を用いたことを特徴とする請求項１ないし請求項１１のいずれかに記載の内視鏡誘導装置。Comparison means of the in the assessment of the similarity, then normalized in advance the real endoscopic image the maximum pixel intensity of each image in the virtual endoscopic image to 1, the intensity difference of the corresponding pixel your capital The endoscope guidance device according to any one of claims 1 to 11 , wherein a sum of squares is used. 前記の決定手段は、前記の比較手段により得られた内視鏡先端の推定位置が、過去に推定した内視鏡先端位置を時系列で並べたときに外挿される現在の予測位値から著しく逸脱した位置である場合にその推定位置を採用しないことを特徴とする請求項１ないし請求項１２のいずれかに記載の内視鏡誘導装置。The determining means is configured so that the estimated position of the endoscope tip obtained by the comparing means is significantly different from the current predicted position value extrapolated when the previously estimated endoscope tip positions are arranged in time series. The endoscope guidance device according to any one of claims 1 to 12 , wherein when the position deviates, the estimated position is not adopted.

Images