JPH09508994A - 像形成装置及び方法 - Google Patents

Abstract

(57)【要約】 本発明は、ある様式によって得られる物体(10)の像をリアルタイムで得て表示し、その像が別の様式により確立される視線に対応するようにする方法及び装置(2)に係る。この方法は、第１の像形成様式を経て物体の従動像ライブラリー(14)を得；第２の像形成様式を経て得られる先導像ライブラリー(12)を設け；先導像ライブラリーを従動像ライブラリーに対してレファレンスし；先導視野に沿って第２の像形成様式を経てリアルタイムで物体の先導像を得；デジタル像分析によりリアルタイム先導像を先導像ライブラリーの先導像と比較して、リアルタイム先導視野に対応する従動像視線を識別し；その識別された従動像を、先導像のスケール、回転及び位置に対応するように変換し；そしてその変換された従動像を表示するという段階を備えている。

Description

【発明の詳細な説明】 像形成装置及び方法発明の分野 本発明は、一般に、像形成装置及び方法に係り、より詳細には、医療用の像形 成装置及び方法に係る。先行技術の説明 侵襲的な外科手術は、多数の有利な効果を与えるが、回復が困難な肉体的及び 心理学的ショックを患者に与える。それ故、患者へのショックを最小にするため に、種々の最小限の侵襲的外科手順が開発されている。しかしながら、これらの 手順は、医師が作業する患者身体の部位を直接見ることができない状態で患者の 身体内で繊細な手順をしばしば実行しなければならない。それ故、医師に患者身 体の内部の情報を与える像形成技術を開発することが必要となっている。 更に、患者の非外科手術的又は外科手術前の医学的評価は、肉体的診断と共に 多数の異なる様式からの像を評価するという困難な作業をしばしば必要とする。 これは、医師が別々の時間に見るだけの個々の像形成様式からの多数のデータセ ットをメンタルに統合することを必要とする。 今日、２次元、３次元及び４次元データを収集するために、多数の像形成技術 が一般に利用されている。これらの技術は、超音波、コンピュータ化されたＸ線 断層撮影（ＣＴ）、磁気共鳴造影（ＭＲＩ）、電位断層撮影（ＥＰＴ）、陽電子 放出断層撮影（ＰＥＴ）、脳電気的活動マッピング（ＢＥＡＭ）、磁気共鳴血管 造影（ＭＲＡ）、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）、磁気電気 脳造影（ＭＥＧ）、動脈コントラスト注入血管造影、デジタル減算血管造影及び Ｘ線透視を含む。各々の技術は、ある種の像を形成し、患者身体の特定部位を像 形成し、患者部位のある種の活動を表示し、そしてある手順において外科医を手 助けするのに多少役立つ特性を有している。例えば、ＭＲＩは、選択された位置 において患者身体の３次元表示を発生するのに使用できる。しかしながら、ＭＲ Ｉ像形成装置の物理的な性質と、ある種の像を収集するのに要する時間により、 外科手術中に患者身体の変化を示したり又は身体内に置いた手術器具の位置を示 したりするようにリアルタイムで便利に使用することができない。一方、超 音波像は、比較的小さなプローブを用いてリアルタイムで発生することができる 。しかしながら、発生された像は、精度が悪く、３次元の細部は、他の像形成技 術によって作られる。 多数の種々の像及び／又は位置を指示する装置を使用した医療用像形成システ ムは公知である。ハントンＮ著の「コンピュータグラフィックワールド(Compute r Graphics World)」（１９９２年１０月、第７１−７２ページ）は、超音波の 位置指示プローブを使用して、患者頭部の位置に対してＭＲＩ又はＣＴ像をレフ ァレンスするシステムについて記述している。ＭＲＩ及び／又はＣＴスキャンの 前に患者の頭皮に３つ又は４つのマーカーが取り付けられる。これにより得られ る患者の頭蓋骨及び脳の像と、マーカーの像は、コンピュータのメモリに記憶さ れる。その後、手術室において、外科医は、音波プローブを各マーカーに接触し そして手術台上の４つのマイクロホンにより取り上げられる音波信号を発生する ことにより、音波プローブをマーカー（ひいては、ＭＲＩ又はＣＩ像）に対して 校正する。各マイクロホンにより受け取られる信号のタイミングがプローブ位置 の情報をコンピュータに与える。各マーカーに対するプローブ位置に関する情報 は、プローブを、コンピュータのメモリにおけるＭＲＩ及び／又はＣＴ像と整列 させる。その後、患者の脳にプローブを挿入することができる。プローブから４ つのマイクロホンへの音波信号は、患者の脳のＭＲＩ像の中でプローブをいかに 移動したかを示す。外科医は、プローブの位置情報を使用して、他の医療器具を 患者の脳の所望の位置に配置することができる。プローブは手術台に対して空間 的に配置されるので、このシステムの１つの要件は、患者の頭部を手術台に対し て同じ位置に保持することである。患者の頭が動くと、音波プローブをマーカー に対して再校正しなければならない。 グリムソン、Ｗ．Ｅ．Ｌ．氏等の「フレームなしの定位、像ガイド外科手術、 及びリアリティを向上した視覚化のための自動整列方法(An Automatic Registra tion Method for Frameless Stereotaxy，Image Guided Surgery，and Enhanced Reality Visualization)」、ＩＥＥＥ ＣＶＰＲ ’９４ プロシーディング ズ（１９９４年６月、第４３０−４３６ページ）は、３次元データを手術台の上 の患者の頭部と整列し、レーザレンジファインダから導出される距離情 報を使用してビデオカメラの位置を患者に対して校正し、レーザ走査線像データ を有するレーザレンジファインダのデータを医療像データとクロス相関させる装 置を開示している。このシステムは、ＭＲＩ又はＣＴスキャン像を、レーザレン ジスキャナにより得た患者の皮膚面の深さデータと整列し、次いで、対象物上の レーザ点のビデオ像を基準３次元レーザデータと整合することにより患者に対す るビデオカメラの位置と向きを決定する。このシステムは、説明されているよう に、対話速度で機能するものではなく、即ち、このシステムは、患者において個 々に作業する視点の変化を反映するように像を変換することができない。このシ ステムはターゲットまでの距離を測定するレーザレンジファインダのような扱い 難い装置に依存するので、元の強度像によりガイドされる３次元像変換を実行す ることができない。上記文献は、頭部に取り付けるディスプレイを使用しそして 固定カメラを「外科医のおおよその視点」に配置し、即ち「肩越しに見る」こと を仮説的に述べている。上記文献は、「観察者の位置を連続的に追跡できる」と 述べているが、著者がこれをいかに遂行するかの記載がない。 カラワスキーＲ著の「仮想現実及び仮想環境の科学(The Science of Virtual Reality and Virtual Environments)」、第３１５−３１８ページ（アディソン −ウイーズリ、１９９３年）は、ＣＴスキャン装置のような３次元像処理システ ムと一体化された位置感知連結アームを使用して、患者の頭蓋骨及び脳に関する ３次元情報を形成する像形成システムを開示している。上記ハントン氏によって 述べられた装置のように、ＣＴスキャンの前に患者の頭皮に金属性のマーカーが 配置される。コンピュータは、ＣＴ造影において通常そうであるように、次々の 位置で一連の「切片」即ち平面像を取り上げ、次いで、その切片間を補間して、 ３次元像を形成することにより、患者の頭蓋骨の３次元像（マーカーを含む）を 発生する。３次元像を得た後に、マーカーの位置を連結アームの空間位置と相関 させることにより連結アームを校正することができる。患者の頭部がＣＴスキャ ン以来動かない限り、患者の外部におけるアームの位置を３次元ＣＴ像と整列す ることができる。 ハイルブランＭ．Ｐ．著の「ブラウン−ロバート−ウェルズ（ＢＲＷ）像ガイ ド定位システムに使用するマイクロコンピュータの発展と統合(The Evolution and Integration of Microcomputers Used with the Brown-Roberts-Wells(BRW) Image-Guided Stereotactic System)」（ケリー、Ｐ．Ｊ．氏等の「定位神経外 科におけるコンピュータ(Computers in Stereotactic Neurosurgery)、第４３− ５５ページ（ブラックウエル・サイエンティフィック・パブリケーション、１９ ９２年）に掲載）は、ノイズのような外部標識点に対し頭蓋内の構造をレファレ ンスする（同じ像セット内で）将来の可能性を簡単に説明している。しかしなが ら、これをどのように行うかは説明しておらず、又これを種々の像比較又は構成 に使用することは述べていない。 ピーターズ、Ｔ．Ｍ．氏等（ケリー、Ｐ．Ｊ．氏等の「定位神経外科における コンピュータ」、第１９６ページ（ブラックウエル・サイエンティフィック・パ ブリケーション、１９９２年）に掲載）は、定位フレームを、像分析を用いるシ ステムと共に使用して、定位フレーム上のＮ字型マーカーの断面の位置によって 指示されるＭＲ又はＣＴで得た各断層撮影切片上の位置マーカーを読み取ること を述べている。この方法は既に収集した断層撮影データを整列するには有用であ るが、外科医の視野をそのデータに整列する助けはしない。更に、この技術は、 定位フレームなしに使用することはできない。 ジョレス、Ｓ．Ｊ．氏の「対話型定位手術室(An Interactive Stereotactic O perating Suite)」、及びカール、Ｂ．Ａ．氏の「包含的多種外科手術プランニ ング及び対話型神経外科手術(Comprehensive Multimodality Surgical Planning and Interactive Neurosurgery)」（両方ともケリー、Ｐ．Ｊ．氏等の「定位神 経外科におけるコンピュータ」、第６７−８６ページ、第２０９−２２９ページ （ブラックウエル・サイエンティフィック・パブリケーション、１９９２年）に 掲載）は、ハードウェア及びソフトウェアのＣｏｍｐａｓｓ（登録商標）システ ムを説明している。このシステムは、定位フレーム基準マーカーの自動読み取り や、２次元データからの３次元再構成や、像の変換（スケーリング、回転、並進 移動）を含む種々様々な像処理機能を実行することができる。このシステムは、 「内部顕微鏡」を備え、これにより、手術の軌跡に位置及びスケールが相関され た３次元的に再構成された腫瘍のコンピュータ発生切片を、その下の組織の内部 顕微鏡拡大図と一緒に見ることができる。しかしながら、像の整列は、像の分析 によって行われない。更に、外科医の瞬間的な視点に続いて断層撮影表示を適切 に変化させる手段については記載されていない。又、この方法も、定位フレーム に依存し、患者の頭が動くと、おそらくこの方法は実行できない。 スーテンズ、Ｐ氏等（ケリー、Ｐ．Ｊ．氏等の「定位神経外科におけるコンピ ュータ」、第２５２−２５３ページ（ブラックウエル・サイエンティフィック・ パブリケーション、１９９２年）に掲載）は、頭部に取り付けられたディスプレ イを磁気式の頭部追跡装置と共に使用し、脳のコンピュータ像の視点をユーザの 頭の動きに対して変更することについて説明している。しかしながら、このシス テムは、外科手術手順の間にリアルタイムで収集される情報を既に収集した像デ ータに相関することのできる手段を提供するものではない。 ロバート、Ｄ．Ｗ．氏等の「フレームなしの定位外科手術中のコンピュータ像 表示(Computer Image Display During Frameless Stereotactic Surgery)」（ケ リー、Ｐ．Ｊ．氏等の「定位神経外科におけるコンピュータ」、第３１３−３１ ９ページ（ブラックウエル・サイエンティフィック・パブリケーション、１９９ ２年）に掲載）は、ＣＴ、ＭＲＩ及び血管造影ソースからの手順前の像を、超音 波レンジファインダ、患者の上に配置された超音波マイクロホンのアレー、及び 患者に取り付けられた複数の基準マーカーの使用により、手術室内の患者の実際 の位置に整列させるシステムを説明している。手術用の顕微鏡には超音波「スパ ークギャップ」が取り付けられ、患者に対する手術用顕微鏡の位置を決定するこ とができる。顕微鏡の焦点面に対応する記憶されたＭＲＩ、ＣＴ及び／又は血管 造影像を表示することができる。 ケリー、Ｐ．Ｊ．氏(ケリー、Ｐ．Ｊ．氏等の「定位神経外科におけるコンピ ュータ」、第３５２ページ(ブラックウエル・サイエンティフィック・パブリケ ーション、１９９２年)に掲載)は、磁気式の頭部追跡装置を用いて、確立された ３次元座標系内の動きを追跡することにより手術用顕微鏡に外科医の変化する視 野を追跡させる将来の可能性について考察している。しかしながら、このような システムを構成するには不充分な情報しか与えられていない。更に、この方法も 、定位フレームに依存し、患者の頭部が動くと、座標の相関をとることができな い。 バーチャル・レアリティ・ワールド（１９９３年１１／１２月）第１８−３３ ページに掲載されたクルーガ、Ｍ．Ｗ．氏の「皇帝の新たな真実(The Emperor's New Realities)」は、リアルタイム像を記憶された像に相関させるシステムを 一般的に述べている。しかしながら、相関される像は、異なる物体の像であり、 ユーザの視点は追跡されない。 最後に、バーチャル・レアリティ・ワールド（１９９４年１／２月）第４９− ６１ページに掲載されたストーン、Ｒ．Ｊ．氏の「英国バーチャル・リアリティ ライフの年(A Year in the Life of British Virtual Reality)」は、レーザレ ンジファインダで部屋を走査し、そして「以前のコンピュータ助成設計モデルプ リミティブのライブラリーと整合するのに適した」簡単な幾何学形状にデータを 処理するシステムの開発におけるアドバンスド・ロボティックス・リサーチ・リ ミテッドの発展について述べている。この方法は、異なる様式で収集した２組の 像を一般的に関連付けることに向かってグループが作用することを指示すると思 われるが、この文献は、このような整合を遂行する手段を示していない。又、い かなる点においても分類を伴うとは思われない。リアルタイムで像セットを収集 し、処理しそして相互作用する手段は設けられず、そして手順を遂行するユーザ の瞬間的な視点を追跡し、これにより、別のデータセットをアクセスするための 手段も設けられない。 以上の公知技術から明らかなように、患者を診察しているか又は患者に手順を 施している医師の瞬間的な視野に整列させて、単一様式又は多数の様式の像形成 データを多次元でその適当なサイズ、回転、向き及び位置に表示することのでき る像形成システムをもつことが要望される。更に、これらの目標を達成するため に患者に定位フレームを固定する経費、不快感及び負担を伴わずに、これを行え ることが望ましい。又、シールされたシャーシ内に収容される装置の修理のよう な非医療手順にもこの技術を利用できることが望ましい。発明の要旨 本発明は、ある様式により得られる物体の像をリアルタイムで得て表示し、そ の像が別の様式により確立される視線に対応するようにする方法及び装置を提供 する。この方法は、好ましい実施形態において、第１の像形成様式を経て物体の 従動像ライブラリーを得；第２の像形成様式を経て得られる先導像ライブラリー を形成し;上記従動像ライブラリーに対して先導像ライブラリーをレファレンス し；先導視野に沿って上記第２の像形成様式を経てリアルタイムで物体の先導像 を得；上記リアルタイムの先導像をデジタル像分析により上記先導像ライブラリ ーの先導像と比較して、その先導像に対応する従動像視線を識別し；その識別さ れた従動像を先導像のスケール、回転及び位置に対応するように変換し；そして その変換された従動像を表示し、上記比較、変換及び表示段階は、リアルタイム で先導像を得る段階と実質的に同時に行うという段階を備えている。 以下、添付図面を参照して、本発明を詳細に説明する。図面の簡単な説明 図１は、本発明の像形成装置の好ましい実施形態を示すブロック図である。 図２は、本発明の方法の好ましい実施形態を示すフローチャートである。 図３は、本発明の方法の別の実施形態を示すフローチャートである。発明の詳細な説明 定義 以下の定義は、本発明の装置及び方法を理解し、使用する上で有用である。 像：ここで使用する「像」とは、患者の解剖学的又は機能的な特徴の空間的な 配置を表すデータを意味し、目に見えるグラフィックな形態で実際に表されても よいし、そうでなくてもよい。換言すれば、コンピュータメモリに入れられた像 データ及びコンピュータスクリーンに現れる像は、像（１つ又は複数）と称され る。像の非限定例として、ＭＲＩ像、血管造影像、等が含まれる。ビデオカメラ をデータ収集方法として使用するときには、「像」は、そのときに処理するのに 適したシリーズのうちの１つの特定の「フレーム」を指す。「先導視野」（典型 的に、外科医が手順を見ようとする視線）の軌跡に対応する平面において患者の 身体の３次元再構成を「再切断」する能力はこの方法にとって重要であるから、 「像」は、再構成が得られるところの最初に収集した２次元ファイルの１つでは なくて、３次元像再構成の適切に切断された像を指すこともある。又、「像」と いう用語は、基準マーカー、サブ物体、又は知識の表示のような選択された像の 一部分を意味するのにも使用される。 像形成様式：ここで使用する「像形成様式」とは、像を得るための方法又はメ カニズム、例えば、ＭＲＩ、ＣＴ、ビデオ、超音波、等を意味する。 先導視野：ここで使用する「先導視野」とは、所与の時間に物体に向いた視線 を意味する。典型的に、先導視野は、医師が所与の時間に手順を見ようとする視 線である。シースルーの頭部取付ディスプレイ及び頭部取付カメラが使用される 場合には、これは、医師の瞬間的な視線でなければならない。先導視野がシフト するときには、他の全ての像がそれらの視野を先導視野に対して調整し、複合像 を作るために収斂する全ての像を正確なものにしなければならない。 先導像：ここで使用する「先導像」とは、先導視野と同じ様式により得られる 像である。例えば、先導視野が、医師が患者の表面を見ることである場合には、 先導像は、患者の表面の対応するビデオ像となる。 従動像：ここで使用する「従動像」とは、先導視野及び切断深さ制御の仕様へ と変換及びおそらくは切断されねばならない像である。適切に切断及び変換され た従動像は、通常は、先導像に平行な平面内にあり、従って、先導視野に直交す るが、他の切断輪郭も使用できる。適切に変換された従動像は、先導像と同じ視 野角であるが、個別に決定された深さにある。 複合像：ここで使用する「複合像」とは、異なる様式を各々表す２つ以上のソ ースからの適切に整列された先導像及び従動像の組み合わせから得られる像であ る。 基準マーカー：ここで使用する「基準マーカー」とは、先導像又は従動像に存 在する特徴、像構造又はサブ物体であって、像の分析、整合、像の座標相互参照 又は整列、及び複合像の形成に使用できるものである。 特徴の抽出：ここで使用する「特徴の抽出」とは、行われる像の分析にとって 重要な像成分の識別の方法を意味する。これらは、分析される像における境界、 角度、面積、質量の中心、中心モーメント、円形度、矩形度、及び領域のグレー スケール強度を含む。 セグメント化：ここで使用する「セグメント化」とは、像を描こうと試みる元 のシーンに関してある物理的な重要性を有するエリアへと像を分割する方法であ る。例えば、セグメント化は、外耳管のような個別の解剖学的構造の分画を含む が、実際には分類までは識別されなくても良い。従って、特徴の抽出は、像をセ グメント化することのできる１つの方法である。更に、既にセグメント化された エリアは、その後に、特徴の抽出を受けることができる。像分析の分野で良く知 られたセグメント化方法の他の非制限例は、スレッシュホールド処理、縁検出、 ハウ(Hough)変換、領域成長、ラン長さ接続分析、境界分析、テンプレートマッ チング、等を含む。例えば、ローゼンフィールド、Ａ著の「像サブセットのファ ジィ形状(The fuzzy geometry of image subsets)」（ベツデク、Ｊ．Ｃ．氏等 の「パターン認識のためのファジィモデル(Fuzzy Models for Pattern Recognit ion)」、第３４０−３４６ページ（ＩＥＥＥ、１９９２年）に掲載）を参照され たい。 分類：ここで使用する「分類」とは、物体をその特徴に基づいてある形式のも のであると識別する本発明の像形成方法の段階を意味する。例えば、像における あるセグメント化された物体は、他のセグメント化された物体に対し、サイズ、 形状、ピクセル密度及び位置について所定の基準内に入るかどうかに基づき外耳 管であるとコンピュータにより識別される。本発明においては、分類は、物体を 見るところの角度又はカルテシアン位置（視線）、例えば、指定の原点の３０° 北及び２０°西から見た外耳管を含むように拡張される。種々様々な分類技術が 知られており、統計学的技術（例えば、デービス、Ｅ．Ｒ．著の「機械の視覚： 理論、アルゴリズム、実施性(Machine Vision: Theory，Algorithms,Practicali ties)」、第４３５−４５１ページ（アカデミック・プレス、１９９２年）を参 照されたい）；及びファジィ論理技術（例えば、ベツデク、Ｊ．Ｃ．氏等の「パ ターン認識のためのファジィモデル(Fuzzy Models for Pattern Recognition)」 第１−２７ページ（ＩＥＥＥ、１９９２年）；サイ、Ｐ氏等の「手書き数字文字 認識のためのファジィ論理(Fuzzy Logic for Handwritten Number Character Re cognition)」（ベツデク、Ｊ．Ｃ．氏等の「パターン認識のためのファジィモデ ル」第３２１−３２５ページ（ＩＥＥＥ、１９９２年））を参照されたい）を含 む。分類技術については、ファーガーズ著の「３次元コンピュータ視覚(Three-D imensional Computer-Vision)」第４８３−５５８（ＭＩＴプレス１９８９年） 及びハラリック、Ｒ．Ｍ．氏等の「コンピュータ及びロボット視覚(Computer an d Robot Vision)」第２号、第４３−１８５、 ２８９−３７８、４９３−５３３ページ（アディソン・ウェスリ１９９３年）に 説明されている。 変換：ここで使用する「変換」とは、並進移動（並進形態の移動）、回転（２ 次元又は３次元）、縮小拡大、剪断、曲げ、遠近配置、又は指定の基準に基づく 他の変更のような像の処理を意味する。バージャ、Ｐ著の「対話型コンピュータ グラフィック(Interactive Computer Graphics)」第１７３−１８６ページ（ア ディソン・ウェスリ１９９３年）を参照されたい。 整列：ここで使用する「整列」とは、同様の又は対応する形状の及び同じ組の 物体の２つの像を互いに一致するように配置し、像形成されたシーンの対応する 点が整列像の同じ位置に現れるようにする整列プロセスを意味する。好ましい実施形態の詳細な説明 便宜上、本発明の好ましい実施形態は、脳外科手術又は他の侵襲的な外科手術 のような医療分野について説明する。又、本発明は、医療診察、古代のそしてし ばしば壊れ易い物品の分析、航空機の荷物、化学的組成（核磁気共鳴スペクトル 分析の場合）、小さなアクセス通路を経ての閉じた部片の修理等を含む（これら に限定されないが）他の用途にも適用できる。 本発明は、像データを選択しそして整列する新規な方法を提供することにより 多様式の複合像を形成する初期の方法及び装置を改善する。又、本発明は、動的 な視野にある間にユーザの視線に対して調整することにより像を見る初期の方法 も改善する。図１は、本発明の好ましい実施形態により物体１０の像を表示する ための像形成システム２のブロック図である。２つの異なる様式により得られた 物体１０の像の先導ライブラリー１２及び従動ライブラリー１４は、処理手段１ ６と通信する。各々のライブラリーの像形成様式は、ＣＴスキャン、ＭＲＩスキ ャン、音波図、血管造影図、ビデオ、又は公知の他の像形成技術である。各ライ ブラリーは、物体に関する像データを含む。 より詳細には、像形成装置の少なくとも１つは、物体１０の内部を見てその像 を構成することのできる装置である。像（又はそれらの分析から収集されたデー タ）は、編成され且つ検索可能な状態でライブラリー内に記憶される。ライブラ リーは、検索可能な像データを記憶する何らかの適当な手段、例えば、電子メモ リ（ＲＡＭ、ＲＯＭ等）、磁気メモリ（磁気ディスク又はテープ）、或いは光学 メモリ（ＣＤ−ＲＯＭ、ＷＯＲＭ等）でよい。 処理手段１６は、像ライブラリー１２及び１４の対応するデータを相互参照し て、一方のライブラリーの像又はデータを他方のライブラリーの像又はデータに 関連付けるマップ又はテーブルを形成する。好ましい相互参照方法は、以下に詳 細に述べる。処理手段１６は、ＳＧＩリアリティエンジングラフィックスサブシ ステム（シリコン・グラフィックス社から入手できる）及び他の適当なソフトウ ェアを有するＳＧＩ Ｏｎｙｘ対称的マルチプロセスシステムワークステーショ ンのようなスタンドあローンコンピュータである。或いは又、処理手段１６は、 この特定の用途に対して特に設計された像プロセッサでもよい。 先導像形成装置１８は、選択された透視線又は視線に沿って物体１０の像を得 るために設けられる。例えば、物体１０が手術室内の患者である場合には、先導 像形成装置１８は、付添いの医師の視線に沿って患者のビデオ像を得るビデオカ メラ、例えば、頭部に取り付けられたビデオカメラである。先導像形成装置１８ は、その先導像を処理手段１６に送信し、該処理手段は、その先導像を従動像ラ イブラリー１４からの対応する従動像と相互参照し、そしてその像を先導像に対 応するように変換する。従動像が切断（スライス）される深さは、従動像の切断 を行うべき深さを識別するための深さ制御器２４（マウス、ジョイスティック、 ノブ又は他の手段）により制御される。従動像（或いは先導像形成装置１８から の先導像と、ライブラリー１４からの対応する変換された従動像とを合成する複 合像）は、ディスプレイ２０に表示される。ディスプレイ２０は、処理手段１６ の一部分であってもよいし、又は独立したディスプレイであってもよい。 好ましい実施形態において、物体１０は、少なくとも１つの基準マーカー２２ を有する。この基準マーカーは、物体１０の固有の特徴（患者の身体内の特定の 骨の構造のような）であるか、或いは物体１０に取り付けられるか又は他の仕方 で関連された自然の又は人為的なサブ物体である。以下に詳細に述べるように、 本発明のシステム及び方法は、先導像と従動像を相互参照するか又はリアルタイ ムで収集される先導像を先導像ライブラリーの先導像又はデータに相互参照する ために１つ以上の基準マーカーを使用する。 図２は、本発明の基本的な方法を示すフローチャートである。このフローチャ ートにおいて、段階は、外科手術手順をスタートする前に行われる段階と、リア ルタイムで即ち手順中に行われる段階とに分割される。この例において、当該物 体は、身体又は身体の特定の一部分、例えば、患者の頭部であり、２つの像形成 様式は、患者の頭部のＭＲＩスキャン（従動像様式）と、患者の頭部の表皮のビ デオ像（先導像様式）である。しかしながら、本発明は、種々の環境及び用途に 使用できることを理解されたい。 好ましい実施形態において、先導像及び従動像は、手術手順中にリアルタイム で使用する情報を収集するために、手術手順の前に相互参照される。この手順前 の段階に収集された先導像及び従動像の相互参照は、患者とビデオカメラとの間 及び患者とＭＲＩ装置との間に共通の物理的な座標を維持することにより行うの が好ましい。それ故、この好ましい方法の第１段階（図２のブロック３０で一般 的に示された）は、患者の頭部を定位フレームのようなホルダに動かないように 取り付けることである。 次いで、従動像情報を収集するために、患者の頭部と定位フレームとのＭＲＩ スキャンが行われ、３次元データ（患者の頭部及び定位フレームに関する座標デ ータを含む）が、ブロック３４に示すように、従来のやり方で処理されて、従動 像ライブラリーのようなメモリに記憶される。患者の頭部の処理前の先導ビデオ 像は、正確な位置においてデジタル像を自動的に得るカメラによって得られるの が好ましい。正確な定位位置間に器具を自動的に移動させるように構成されたロ ボット装置が、ヤング、Ｒ．Ｆ．氏等の「ロボット助成式外科手術(Robot-aided Surgery)」;及びベナビッド、Ａ．Ｌ．氏等の「定位神経外科手術のためのコン ピュータ駆動式ロボット(Computer-driven Robot for Stereotactic Neurosurge ry)」（ケリー、Ｐ．Ｊ．氏等の「定位神経外科手術におけるコンピュータ」第 ３２０−３２９、３３０−３４２ページ（ブラックウエル・サイエンティフィッ ク・パブリケーション、１９９２年）に掲載）によって説明されている。このよ うな装置は、先導ライブラリーの収集のために適切な先導観察角度にカメラを移 動するのに使用できる。例えば、定位フレームを用いると、ビデオカメラを３つ の平面において頭部の周りに移動して、２ｍｍごとの像を得ることができる。 各像は、視線又は像を得たところの軌跡に関する情報と共に先導像ライブラリー に記憶される。これら全ての像を得た後に定位フレームを患者の頭部から除去す ることができる。 ＭＲＩ及びビデオ像を得る段階中に患者の頭部を定位フレームに動かないよう に保持することにより、先導（ビデオ）及び従動（ＭＲＩ）像データに共通の座 標系が与えられる。従って、記憶されたビデオ像の一部分を示す視線の識別は、 記憶されたＭＲＩ像の対応する視線の識別と同等である。記憶された先導像及び 従動像を相互参照する情報それ自体は、手術手順中にリアルタイムで使用するた めに記憶される。 この方法の手順前部分の最終段階として、ビデオ先導像をデジタルで分析し、 予め定めた基準マーカーを識別する。好ましい実施形態において、先導像ライブ ラリーに記憶された各先導像のデジタル表示は、サブ物体にセグメント化され、 即ち分断される。セグメント化は、公知の適当な手段によって行うことができ、 例えば、特徴の抽出、スレッシュホールド処理、縁検出、ハウ変換、領域成長、 ラン長さ接続分析、境界分析、テンプレートマッチング等によって行うことがで きる。本発明の好ましい実施形態は、Ｒ．レービスの「実用的なデジタル像処理 (Practical Digital Image Processing)」（エリス・ホーウッド社１９９０年） に説明されたように、キャニー縁検出技術を使用している。セグメント化プロセ スにより、ビデオ像は、定められた境界、形状、及び全像内の位置を有するサブ 物体に分割される。 キャニー縁検出セグメント化技術は、像が２次元であるか３次元であるかに基 づいて変更することができる。この例では、像は、もちろん、２次元ビデオ像で ある。ほとんどのセグメント化解決策は、２次元像又は３次元像のいずれに使用 することもできるが、ほとんどの文献は、２次元像のセグメント化に関するもの である。３次元物体のセグメント化に２次元解決策を適用できるようにする１つ の方法は、３次元構造体を表すシリーズの各２次元切片において２次元セグメン ト化プログラムを実行することである。これら切片の各対応部分をその後に補間 することにより、３次元のセグメント化された物体を含む３次元像が得られる。 計算力の最も低いセグメント化方法は、スレッシュホールド処理を使用するこ とである。指定の値より上及び下のピクセルは、通常、そのピクセルが入るスレ ッシュホールドの縁を表す２進状態へピクセルを切り換えることにより分離され る。スレッシュホールド処理及びそれに関連した公知の縁検出方法を使用し、そ して視覚的に個別の基準を使用することにより、像の所望のエリアが他のエリア から分離される。抽出された輪郭が不連続部を有する場合には、良く知られた単 純な「リンク」アルゴリズムを用いて、密接に位置したピクセルを接続すること ができる。 ２進化されたセグメント化領域がパターン又はテンプレートマッチング（リア ルタイムビデオ像と先導ライブラリー像との間の）に使用される場合には、ビデ オと従動ライブラリーとの間の相関が本発明の方法に基づいてとられる。先導像 と従動像は、例えば、スレッシュホールド処理により、迅速且つ効率的にマッチ ングできるように同様に処理されるのが好ましい。計算負荷を処理手段から更に 除去するために、均一な照明状態を設定し、そしてビデオカメラの入力感度又は 出力レベルを選択されたレベルに設定して、ある強度のピクセルのみが見えるよ う保持するだけで、スレッシュホールド処理をコンピュータによる何らかの処理 の前に効率的に行うことができる。従って、当該基準形状のみがプロセッサに到 達する。スレッシュホールド処理のような方法を、均一な照明及び個別の基準、 並びに効率的な分類方法と共に使用することにより、ここに述べる像分析は、そ の像分析のために特に設計されたものでないハードウェアを用いても、リアルタ イムで（即ち、対話速度で）実行することができる。 像（特に医療用の像）の低コントラスト点をセグメント化する際の難点を解消 する助けとして、この分野では、新たなセグメント化技術の開発に多くの努力が 払われている。おそらく将来特に有用であるのは、各点に、それが所与のセグメ ント化された物体の一部であるかどうかについてある度合いの確率を指定する統 計学的なセグメント化技術である。この確率は、所与の質の他のピクセルに対す るピクセル強度及び位置を含む種々のファクタに基づいている。各ピクセルの確 率がいったん決定されると、グループとしてピクセルの評価を行うことができ、 そして改善された精度でセグメント化を行うことができる。このような技術を用 いると、単一フィールドの３次元ファイルのセグメント化は、一連の２次元像に ついてセグメント化を行いそしてそれらを組み合わせるのが好ましい。というの は、３次元ファイルは、統計をベースとするセグメント化判断を行うときに更に 多くの参照点を与えるからである。ローゼンフィールド、Ａの「像サブセットの ファジイ形状(The fuzzy geometry of image subsets)」（ベツデク、Ｊ．Ｃ． 氏等の「パターン認識のためのファジィモデル(Fuzzy Models for Pattern Reco gnition)」、第３４０−３４６ページ（ＩＥＥＥプレス、１９９２年）に掲載） に述べられたようなファジィ論理技術を使用することもできる。 この像分析段階の最終部分は、サブ物体を分類することである。分類は、公知 の手段によって行われる。統計学的、ファジィ、関連性及び特徴をベースとする モデルに基づくものを含む健全な文献に、種々様々な像分離方法が説明されてい る。特徴をベースとするモデルを用いる場合に、特徴の抽出は、セグメント化像 又は非セグメント化像において行われる。それら特徴の質と、クラス定義におい て既に指定された質との間に一致がある場合には、物体がその形式であるとして 分類される。クラス形式は、個別の解剖学的構造、及び本発明の場合には、個別 の視点から現れる個別の解剖学的構造を記述することができる。 一般に、像の各セグメント化されたエリアの特徴は、基準マーカーを記述する 特徴基準のリストと比較される。基準マーカーは、物体の独特の且つ識別可能な 特徴、例えば、患者の身体内の特定の骨又は軟骨構造により生じる表面形状であ るのが好ましい。例えば、システムは、眼球を、ある直径範囲内の直径及びある 強度範囲内のピクセル強度を有するほぼ球状の物体として記述することにより、 基準マーカーとして使用することができる。他の潜在的な基準マーカーは、鼻、 眉毛、耳介及び外耳管である。或いは又、基準マーカーは、頭皮のマーカーのよ うな独特のマーカーを与える目的のみで、像形成の前に物体に追加することがで きる。このようなマーカーは、典型的に、使用する各々の像形成様式において見 えるように選択される。例えば、硫酸銅のカプセルは、ＭＲＩ及びビデオカメラ の両方に見ることができる。更に別に、手順前の段階で使用される定位フレーム は、頭部に取り付けられたままでもよい。いずれにせよ、物体を自動的に確認で きる場合には、それを基準マーカーとして使用することができる。 本発明により使用されるセグメント化、特徴抽出及び分類段階は、特注のソフ トウェアで行われる。２次元像の適当な分析は、マクロスクリプトで処理をガイ ドしながらグローバル・ラボ・イメージのような市販のソフトウェアで行うこと ができる。 先導及び従動ライブラリーに記憶された像が相互参照されそして先導像の基準 マーカーが識別された後に、システムは、医療手順中にリアルタイムで像を形成 する（即ち、対話速度で像を得る）のに使用する準備ができる。この例では、医 師の視線に沿った患者の頭部のリアルタイム先導像が、図２のブロック３８で示 すように、医師の頭部に取り付けられたデジタルビデオカメラにより得られる。 個々のビデオ像は、フレームグラバを経て得られる。 好ましい実施形態において、各ビデオ像は、好ましくは上記のデジタル像分析 技術を用いて、先導像ライブラリーの対応する像とリアルタイムで（即ち、対話 速度で）相関される。より詳細には、先導像はセグメント化され、そしてセグメ ントされた先導像のサブ物体は、１つ以上に基準マーカーを識別するように分類 される。リアルタイム先導像の各基準マーカーは、先導像ライブラリーの対応す る基準マーカーと位置、向き及びサイズが一致され、ひいては、相互参照情報に より従動像ライブラリーにおける対応する位置、向き及びサイズと一致される。 従動像は、その後、並進移動され、３次元において回転され、そして選択された 先導視野の仕様に一致するようにスケールが決められる。像を互いに一致するよ うに並進移動及び／又は回転及び／又はスケール決めするプロセスは、変換とし て知られている。従動像は、点の密度マトリクスとして記憶、操作又は表示され てもよいし、或いは記憶、操作又は表示の前に公知の手段によってセグメント化 されたベクトルベースの像に変換されてもよい。 従動像は、この例では、３次元であるから、この一致段階は、「表面」のみが 通常に見える３次元ボリュームを形成する。それ故、この方法の次の段階は、見 ようとする切片の所望の深さを選択することである。切片の深さは、マウス、ノ ブ、ジョイスティック又は他の制御機構によって選択される。変換された従動像 は、次いで、ルース、Ｊ．Ｃ．の「像処理ハンドブック(The Image Processing Handbook)」第３９３−４００ページ（ＣＲＣプレス、１９９２年）；バーガ、 Ｐ．氏等の「対話型コンピュータグラフィックス(Interactive Computer Graphi cs)」第１９５−２３５ページ（アジソン−ウェスリ、１９８９年）に述べられ たように、公知の手段により指定の深さまで切断される。 一般に、切断アルゴリズムは３次元像において切断面を指定しそして観察者と その平面との間に位置するデータを無視するか又は透過するようにコンピュータ に指令することを含む。像は一般にメモリにアレーとして表されそしてそのアレ ーにおける各画素の位置はそれが表す物理的空間に数学的に対応しているので、 その平面により分割されるアレーの画素を数学的に識別することにより切断平面 を指定することができる。それにより得られる像は、指定の平面において切断さ れた３次元物体を見たときの２次元表示となる。 １つの実施形態において、システムのグラフィック機能は、ＳＧＩリアリティ エンジン及びサン・マイクロシステムズ・フリーダム・シリーズグラフィックサ ブシステムと共に使用できるような「３次元テクスチャマッピング」機能を使用 することができる。ＳＧＩリアリティエンジンハードウェア／ソフトウェアグラ フィックスプラットホームは、例えば、「テクスチャメモリ」にボリュームを記 憶できるようにする「３Ｄテクスチャ」と称する機能をサポートする。テクスチ ャ値は、３次元座標システムにおいて定義され、そして２次元切片は、このボリ ュームに交差する平面を定義することによりこのボリュームから抽出される。従 って、本発明の３次元従動像情報は、リアリティエンジンのテクスチャメモリに テクスチャとして記憶され、切片は、上記のように得られる。 別の実施形態においては、サン・マイクロシステムズのＳＸグラフィックスサ ブシステム、並びにサン・マイクロシステムズのフリーダムシリーズ及びＳＧＩ リアリティエンジングラフィックスサブシステムに見られるようなフレームバッ ファ及びｚバッファを含むメインメモリにおいて、３次元データセットが保持さ れ、変換されそして切断される。 このシステムは、切断された従動像のみを表示することもできるし、或いは例 えば２つの像のデジタル加算により対応する先導像と共に複合像として表示する こともできる。更に、変換及び切断された従動像は、医師の目の前に取り付けら れたシースルーディスプレイに投影されて、患者についての医師の直視と効果的 に組み合わされるようにすることもできる。或いは又、複合先導像及び従動像は 患者に隣接するスクリーンに表示することもできる。表示された像は、新たな更 新された先導像が得られる間にスクリーンに保持され、プロセスが再びスタート する。 像形成システムは、先導像を得そしてそれに対応する従動像又は複合像を実質 的にリアルタイムで（即ち、換言すれば対話速度で）表示するという段階を実行 する。換言すれば、先導像を得るのと、従動像又は複合像を表示するのとの間の 時間遅延は、表示された像が先導視野の変化を実質的にリアルタイムで追跡する に充分なほど短い。従って、医療の領域では、医師が、医師、患者、医療器具等 の動きを反映する視覚フィードバックの一定の流れを受けることができるような 頻度で新たな像が処理されそして表示される。 第１の別の実施形態では、像形成方法の手順前部分において先導及び従動ライ ブラリーの像を相互参照することが、単にデジタル像分析技術で行われる。各々 のデジタル化された先導像（例えば、ビデオ像）がセグメント化され、そしてサ ブ物体が分類されて基準マーカーを識別する。従動像（例えば、ＭＲＩ像の表面 の観察）の基準マーカーも、同様に識別される。先導像及び従動像を相互参照す るマップ又はテーブルが、従動像の基準マーカーを先導像の基準マーカーに対応 するように変換することにより形成される。相互参照情報は、リアルタイムの像 形成中に使用するために記憶される。或いは又、パターンマッチング技術を用い て、特定の基準マーカーを識別せずに像をマッチングさせてもよい。デービス、 Ｅ．Ｒ．の「マシンの視覚：理論、アルゴリズム、現実性(Machine Vision: The ory，Algorithms，Practicalities)」第３４５−３６８ページ（アカデミック・ プレス、１９９２年）；ハラリック、Ｒ．Ｍ．氏等の「コンピュータ及びロボッ トの視覚(Computer and Robot Vision)」第２巻、第２８９−３７８、４９３− ５３３ページ（アジソン−ウエスリー、１９９３年）；サイ、Ｐ氏等の「手書き 数字文字認識のためのファジィ論理(Fuzzy Logic for Handwritten Number Char acter Recognition)」（ベツデク、Ｊ．Ｃ．氏等の「パターン認識のためのファ ジィモデル」第３２１−３２５ページ（ＩＥＥＥ、１９９２年））を参照された い。 先導像及び従動像のライブラリーを得そしてこれらライブラリーにおいて先導 像及び従動像を相互に参照した後に、第１の別の実施形態の方法を用いて、リア ルタイムで得た先導像に対応する従動像の適切な切片が表示される。従って、例 えば、医師の頭部に取り付けられたビデオカメラで得た患者のリアルタイムビデ オ像は、好ましい実施形態について上記したデジタル像分析技術を介して先導像 ライブラリーの先導像と相関させることができる。次いで、記憶された相互参照 情報を用いて、そのリアルタイム先導像に対応する従動像を識別することができ る。 従動像は、先導像のサイズ、位置及び向きに一致するように変換される。又、 ３次元従動像は、深さ制御により選択された深さに切断される。次いで、変換及 び切断された従動像が単独で表示されるか、又はリアルタイムビデオ像と一緒に 複合像として表示される。その後にリアルタイムビデオ像が得られたときにプロ セスが繰り返される。 第２の別の実施形態では、従動像がリアルタイムで切断されない。むしろ、こ の実施形態は、種々の平面で得られて多数の先導像視線及び切断深さにインデッ クスされた予め切断された従動像の従動像ライブラリーを発生する。リアルタイ ム先導像の分析によって所与の視線及び切断深さが呼び出されたときに従動像ラ イブラリーから適当な従動像切片が検索される。この実施形態は、大きな像形成 装置メモリを必要とするが、装置によるリアルタイム処理はあまり必要とされな い。 第３の別の実施形態が図３に示されている。この別の実施形態では、先導像を 得てその先導像をこの方法の手順前の部分中に従動像と相互参照する段階が除去 されている。むしろ、先導像形成装置によりリアルタイムで得た先導像は、先導 像と従動像との間のセグメント化及び分類段階をリアルタイムで実行するか又は 他の像又はパターンマッチング技術（ハラリック、Ｒ．Ｍ．氏等の「コンピュー タ及びロボットの視覚」、第２巻、第２８９−３７７ページ（アジソン−ウエス リー、１９９３年）；サイ、Ｐ氏等の「手書き数字文字認識のためのファジィ論 理」（ベツデク、Ｊ．Ｃ．氏等の「パターン認識のためのファジィモデル」第３ ２１−３２５ページ（ＩＥＥＥ、１９９２年））；デービス、Ｅ．Ｒ．の「マシ ンの視覚：理論、アルゴリズム、現実性」、第３４５−３６８ページ（アカデ ミック・プレス、１９９２年）に掲載されたような）を使用することにより、初 期に得た先導像を従動像に相関する予め存在するテーブル又はマップの利益を伴 わずに、従動像と直接的に相互参照させることができる。この第３の別の方法は 、システムプロセッサにかかるリアルタイム負荷を増加し、これは、ディスプレ イのリフレッシュ時間を低速化し、即ち次々に表示される像と像との間の時間を 遅くする。しかしながら、この低速のリフレッシュ時間は、ある手順では受け入 れられる。更に、この解決策の１つの効果は、手順前段階に費やされる時間の若 干を排除することである。 更に別の実施形態においては、従動像をリアルタイムで得て、先導像にリアル タイムで関連させることができる。この解決策は、手順前に得た像が不正確なも のとなるように患者をある仕方で変化させる外科手術手順に用いるのに有用であ る。 他の更に別の実施形態では、図２及び３に示す方法を、物体上の多数の基準マ ーカーに対する関連情報を用いて実施することができる。例えば、好ましい実施 形態のように、単一の基準マーカーの向きを決定することによって物体の向きを 決定するのではなく、特定の視線から見た多数の基準マーカーの相対的な位置を 決定することにより三角測量を介して先導像及び従動像に関する向き及びサイズ 情報を決定することができる。（「オン・ザ・カッティング・エッジ・オブ・テ クノロジー(On The Cutting Edge of Technology)」、第２−１４ページ（サム ズ・パブリッシング、１９９３年）；モシェル、Ｊ．Ｍ．の「仮想環境の測量(A Survey of Virtual Environments)」、バーチャールリアリティワールド、１月 ／２月、１９９４年、第２４−３６ページを参照されたい。）それとは別に、像 分析技術を用いて、カメラ又は頭部の位置を直接というのではなく、その動きを 追跡することができる。（ハラリック、Ｒ．Ｍ．氏等の「コンピュータ及びロボ ットの視覚」第２巻、第１８７−２８８ページ(アジソン−ウエスリー、１９９ ３年);ファウゲラスの「３次元コンピュータビジョン(Three-Dimensional Compu ter Vision)」、第２４５−３００ページ（ＭＩＴプレス、１９８９年）を参照 されたい。） 更に別に、基準マーカーを識別するのではなく、デービス、ハラリック及びサ イ氏により説明されたパターンマッチング技術を、対応する像のプロセス前又は リアルタイムマッチングに使用することができる。 像形成システム及び方法を用いて患者の頭部の像を発生しそして表示する第１ の好ましい実施形態の例を以下に説明する。２つの像は、（１）先導像としての 外科医の視野（外科医の頭部に取り付けられて患者の頭部の頭皮に向けられたデ ジタルビデオカメラによって形成される）と、（２）従動像としての患者の頭部 の３次元ＣＴ像である。 これらの像は、手順前の段階において、処理コンピュータにより、フレーム・ グラバを経て（ビデオ先導像ライブラリーの場合）及び視線情報を含む予め形成 されたファイルとして（ＣＴ従動像ライブラリーの場合）得られ、そして２つの 別々のメモリバッファ又は像ライブラリーに入れられた。前記のように、先導像 及び従動像は、患者が定位頭部フレームを着用する間に得られるのが好ましい。 フレームの正確な器具ガイドを用いて（ロボット装置では、好ましいが、必ずし も必要でない）、頭部の周りの種々の遠近関係から多数のビデオ像が得られる。 各像は、その像を得た視線又は軌跡と共に先導像ライブラリーに記憶される。次 いで、定位フレームが除去される。 先導像ライブラリーの像は、像を得る段階で導出された視線を相関させること により従動像ライブラリーの像と相互参照される。この相互参照情報は、後で、 像形成プロセスのリアルタイム部分で使用される。 手順前の先導像及び従動像情報を収集した後に、像形成システムは、患者のリ アルタイム像を得て表示するように使用される。この例では、リアルタイム先導 像は、医師の視線を追跡する頭部取付ビデオカメラによって得られる。各々のリ アルタイム先導ビデオ像は、フレーム・グラバによって捕獲され、そして次のプ ロセスに基づいて所定の基準マーカーを識別するように分析される。 リアルタイム先導像は、キャニー縁検出技術（レービス、Ｒ．の「実用的なデ ジタル像処理(Practical Digital Image Processing)」、第２１１−２１７ペー ジ（エリス・ホーウッド社１９９０年））によりセグメント化され、これは、像 に現れる異なる構造間の境界を識別する。この例の基準マーカーは、患者の頭蓋 骨の眼窩であり、これは、マーカーペンで周囲に輪を描くことによって増強され る。眼窩の縁は、両方とも、ビデオカメラでは顔面上で骨の***として見ること ができる。分類段階を実行するために、コンピュータは、例えば、左側の眼窩が ほぼ円形のセグメントされた物体であって、そのサイズは５２ないし１５０ピク セルであり、ピクセルのグレー値はスレッシュホールド数０ないし７５であるこ とを知らせ、これは、ビデオ像の左側に生じる。 種々の視角から、眼窩は、いったんセグメント化されると、楕円形として見え る。患者と顔を合わせて見たときに、眼窩を表す楕円は、少なくとも対とみなさ れるときに、ほぼ厳密に円を近似する。数学／像分析用語では、長軸（楕円の長 い方の軸）が短軸（楕円の短い方の軸）にほとんど等しいと言える。ｘ軸に沿っ て移動するにつれて、水平軸が次第に短くなり、「軸比」が低下する。同時に、 「楕円角」（長軸とｘ軸との間の角度）がほぼ９０°となる。対照的に、ｙ軸に 沿って移動するにつれて、楕円の軸比は、同様に低下するが、楕円角は、今度は ０°となる。 これら極端な純垂直及び純水平の視点変化の間のいかなる組み合わせも、軸比 及び楕円角度の測定値にそれに応じて反映されることが明らかである。従って、 いかなる所与の観察も、ある視線に沿ったものとして決定し又は分析することが できる。２つの楕円と他の基準との間の空間的な関係により（一方の眼窩は他の （第３の）基準に対し他方の眼窩の左側である）左の観察と右の観察が混同する ことはない。このように、コンピュータプログラムには、所与の形状及び向きの 楕円が特定の向きの頭部に対応することを「教示」することができる。長軸及び 短軸、並びにそれらの比は、良く知られた式によって計算され（プラット、Ｗ． Ｋ．の「デジタル像処理(Digital Image Processing)」、第６４４ページ（ジョ ン・ウイリー＆ソンズ、１９９１年））そしてグローバル・ラボのような市販の ソフトウェアパッケージの標準的な特徴である。又、このようなツールは、像を 分析して、それらを、同じ遠近関係からの基準マーカーを示す他の像と「マッチ ング」させることができるようにする。或いは又、両方の眼窩及び鼻の橋部を含 むマスク形状の像が形態学的に抽出される場合には、明確な形状を含むことにな る。 眼窩が識別された後に、リアルタイムの先導像の導出された向きは、手順前の 先導像に関する記憶された情報と比較され、医師の視線に対応する手順前先導像 が識別される。先導像及び従動像の初期の相互参照により、先導像の視線の識別 は、正しい従動像の視線を与える。リアルタイムの視線が記憶された先導像の視 線のいずれとも厳密に対応しない場合には、システムは、正しい視線を近似する ように補間を行う。 正しい視線が決定された後に、従動像は、リアルタイム像とマッチングするよ うに並進移動、回転及びスケーリングされねばならない。視線の場合と同様に、 これらの変換段階は、リアルタイムビデオ像の基準マーカー（この場合は眼窩） の位置、向き及びサイズをそれに対応する先導ライブラリー像の基準マーカーの 同じパラメータと比較し、そしてそれらを、先導及び従動ライブラリーの像のサ イズを関連付ける所定のスケーリングファクタ（倍率）と組み合わせて従動像に 適用することにより実行される。 従動像の変換の後に、従動像は、適当な深さで切断しなければならない。その 深さは、システムに関連した入力機構、例えば、マウス、ノブ、ジョイスティッ ク又はキーボードを使用することにより選択できる。これにより得られた従動像 の切片は、次いで、医師に着用された頭部取付のシースルーディスプレイ、例え ば、ＲＰＩアドバンスド・テクノロジー・グループ（カリフォルニア州、サンフ ランシスコ）及びバーチャル・リアリティ・インク（ニューヨーク州、プレゼン トビル）から市販されているディスプレイに表示される。 このプロセスは、需要時に繰り返されるか、又は新たなリアルタイム先導像が ビデオカメラによって得られたときに自動的に繰り返される。 立体的表示は、ＣＲＴのフラットディスプレイ及び頭部取付ディスプレイに３ 次元的な見掛けを与えるように従動像又は複合像を表示する有用な方法である。 又、立体的表示は、外科医に適切な深さの合図を与えることにより本発明の有効 性を改善することができる。 本発明においては、ユーザに３次元の視野を与える種々の方法を比較的容易に 使用することができる。１つの実施形態では、頭部取付のカメラがユーザの利き 目でない方の目に非常に接近して固定され、ユーザの自然の視覚視野と、シース ルーの頭部取付ディスプレイに表示される合成視野との間の視差が、像の正しい ３次元視野の近似を形成する。 別の実施形態では、テクトロニクス・ディスプレイ・プロダクツ（Ｂｅａｖｅ ｒｔｏｎ，ＯＲ）によるステレオスコピック・ディスプレイ・キットのような交 番偏光フィルタがユーザの目と立体的ディスプレイとの間に使用される。立体的 システムは、合成３次元視野を与える視差付きの像対を人為的に表示する。この ような立体的視野は、公知の手段によっ形成されて表示され、従来のＣＲＴ又は シースルーの頭部取付ディスプレイを含む何らかのディスプレイ装置に表示され る。この方法は、外科医のようなユーザに、患者身体内の特定構造の厳密な３次 元位置を見ているという非常に正確な錯覚を与える。このような方法は、本発明 により形成された像に高い現実性を与えるだけでなく、像によりガイドされる外 科手術手順をより正確で、安全で且つ有効なものにする。 本発明に使用されるハードウェアの速度及び効率は、特殊なサブシステムを使 用し、これらのサブシステム間の通信のような種々のタスクに対してホストシス テムの全能力を使用できるよう保持することにより改善することができる。従っ て、例えば、全ての視覚処理タスクに対してＯｎｙｘワークステーションを使用 できるが、ＭａｘＶｉｄｅｏ ２００及びＭａｘ８６０システム（マサチューセ ッツ州、デンバーのデータキューブ社）或いはＣｏｇｎｅｘ ４４００像処理ボ ード（マサチューセッツ州、ニードハムのコグネックス社）のような特殊なマシ ンビジョンサブシステムをＯｎｙｘと一緒に使用することができる。これらのサ ブシステムは、リアルタイム縁検出、形状の抽出、セグメント化及び像の分類の ような計算的に過酷なタスクをそれらのホストシステムから引き継ぐように設計 されている。 １つの構成において、ＭａｘＶｉｄｅｏ２００及びＭａｘ８６０サブシステム は、リアリティエンジンと共にＯｎｙｘのＶＭＥバスに常駐し、全てのサブシス テムはＯｎｙｘの制御下にある。別の構成においては、ＭａｘＶｉｄｅｏ２００ 及びＭａｘ８６０サブシステムは、ＳＰＡＣＥ ＬＸＥ（カリフォルニア州、プ リーザントンのゼミス・コンピュータ社）の制御のもとにあり、これらは全てリ アリティエンジンと共にＯｎｙｘのＶＭＥバスに常駐する。更に別の構成におい ては、ＭａｘＶｉｄｅｏ２００及びＭａｘ８６０サブシステムは、フリーダムシ リーズ３３００グラフィックサブシステム（カリフォルニア州、マウンテンビュ ーのサン・マイクロシステムズ）と共にＳＰＡＣＥ２０ワークステーションに常 駐し、これは、ｚバッファ及び３リニアＭＩＰテクスチャマッピング特徴を有す る。更に別の構成においては、ＭａｘＶｉｄｅｏ２００及びＭａｘ８６０サブシ ステムは、ＳＸグラフィックサブシステム（カリフォルニア州、マウンテンビュ ーのサン・マイクロシステムズ）と共にＳＰＡＣＥ２０ワークステーションに常 駐する。上記のいずれの場合においても、ＭａｘＶｉｄｅｏ２００サブシステム は、整数をベースとする像処理、フィルタ動作、像のセグメント化、幾何学的動 作及び特徴の抽出、像の分類（先導像導出変換命令）及び評価タスクを実行し、 その計算出力を直接的又は間接的にグラフィックサブシステムに通信する。Ｍａ ｘ８６０サブシステムは、もし所望ならば、浮動小数点計算を必要とする同様の 機能を実行するのに使用することができる。 又、どんなハードウェア構成が選択されるかに基づいて種々のオペレーティン グシステムを使用することができる。これらのオペレーティングシステムは、Ｉ ＲＩＸ（カリフォルニア州、マウンテンビューのシリコングラフィックス社）、 ＳｕｎＯＳ／Ｓｏｌａｒｉｅｓ（カリフォルニア州、マウンテンビューのサン・ マイクロシステムズ），ＬｙｎｘＯＳ（リンクスリアルタイムシステムズ社）、 又はＶＸＷｏｒｋｓ（カリフォルニア州、アラメダのウインドリバーシステムズ 社）を含む。 本発明は、リモートコントロール式マシン（リモートコントロール式軍用乗物 のような）及び自律的ロボット（外科手術用ロボットのような）のビジョン（視 覚）システムの一部分として使用することができる。本発明の方法によって発生 された従動像視野又は複合視野は、肉眼又はビデオカメラの視野を妨げるが他の 何らかの手段により分かるエリアを経てガイドするのに使用することができる。 例えば、建物の内部が見えそしてその建物のＣＡＤ型のモデルも見える場合は、 軍事用装置は、外面図に基づいてその建物のいかなる部屋もターゲットにするこ とができる。適当な従動像又は複合視野を、ロボット技術で良く知られた手段に よりロボットの自律的ビジョンシステムに直接使用してもよいし、又はリモート 又はローカルの操作者により使用してもよい。 本発明の範囲から逸脱せずに変更が可能である。例えば、像形成様式は、血管 造影法（手術前に行われる）及び透視法（リアルタイムで行われそして先導像又 は従動像のいずれかとして使用される）であって、患者の身体に挿入された医療 器具の位置をリアルタイムで追跡できるものであってもよい。 更に、上記の例は、単一の身体マーカー（例えば、目、耳）を、視線を確立す るキーとして主として使用したが、多数の特徴を同時に考えて、分類中に最良の マッチングを決定することにより、最も正確な結果が得られることが明らかであ る。一般に、コンピュータが識別できる基準マーカー及び特徴が多いほど、コン ピュータがソース像の向きをより正確に決定することになる。更に、確認されて いる物体内により多くの特徴を考慮することにより、付加的なソース像データを 得ることができる。例えば、スケーリングプロセス中に２つの像のサイズを相関 するのに楕円の面積を使用することができる。皮膚、衣服又は手術用の外衣に貼 られた種々の形状のホイルのような人為的なマーカーも、同じ目的を果たす。 ３つ以上の異なる像形成様式を使用して複合像を作成し、これら像の１つが、 他の２つの像の基準マーカーをマッチングするための「リンク」像として働くよ うにすることができる。例えば、脳の前交連及び後交連をＭＲＩ及びＣＴの両方 において見ることができる。従って、これらの共通の参照点は、２つの完全に別 々の像座標系を互いに関連させることができる。従って、「従動像」は、確立さ れた手段（ケリー著の第２０９−２２５ページ）によって既に整列された多数の 様式により得られたデータの複合体であってもよいし、ここに開示する方法によ って互いに又は先導像に順次に整列される一連の個別の従動像であってもよい。 このように、表面ビデオカメラは、ＭＲ座標リンクを介してＣＴと相関させるこ とができる。 更に別の実施形態においては、本発明の技術を用いて手術用の器具が追跡され て、先導像及び／又は従動像と共に表示されてもよい。例えば、器具の像は、ビ デオカメラ又は透視法を用いて得ることができる。器具の寸法が分かっている場 合には、たとえ器具の一部分がビデオカメラ又は透視法によって実際に見ること ができなくても、器具の像を３次元スペースに関連させ、そして患者の先導像及 び／又は従動像に対して表示することができる。これが可能となるのは、身体の 基準特徴と同様に、器具は、一般的に、それらを見たときに特徴点となる独特の 見掛けを有しているからである。器具を追跡する間に、リアルタイムの像形成様 式を先導像又は従動像として使用することができる。器具の移動は、医師及び患 者の位置とは独立して生じるので、器具追跡タスクは、個別のコンピュータ又は 個別のプロセッサを、患者を追跡するコンピュータ又はプロセッサと並列に動作 させることにより、患者追跡システムとは独立して実行されるのが好ましい。両 コンピュータは、もちろん、同じビデオ先導像から入力を導出することができ、 そしてそれらの表示は、単一フィールド表示へと合成されるのが好ましい。或い は又、器具は、公知の電磁、音波又は機械的な移動検出システムによって追跡さ れてもよい。このような方法の幾つかが、ケリー、Ｐ．Ｊ．氏等の「定位神経外 科手術のコンピュータ」、第３５３−３５４ページ（バックウェル・サイエンテ ィフィック・パブリケーション、１９９２年）に説明されている。 以上、本発明は、最も実用的で且つ好ましい実施形態について図示して説明し た。しかしながら、本発明の範囲内で種々の変更がなされ得ることは当業者に明 らかであろう。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＪＰ

Claims (1)

1. 【特許請求の範囲】 １．物体の像を得て表示する方法において、 （１）第１の像形成様式を経て物体の従動像ライブラリーを得； （２）先導視野に沿って第２の像形成様式を経て物体のリアルタイム先導像を得 ； （３）デジタル像分析により上記従動像ライブラリーに対して上記リアルタイム 先導像をレファレンスして、先導視野に対応する従動像視線を識別し； （４）従動像を、上記リアルタイム先導像のスケール、回転及び位置に対応する ように変換し；そして （５）その変換された従動像を表示するという段階を備え、上記のレファレンス 、変換及び表示段階は、上記リアルタイム先導像を得る段階の後に実質的にリア ルタイムで行われることを特徴とする方法。 ２．上記変換された従動像を表示段階の前に選択された深さに切断する段階を更 に備えた請求項１に記載の方法。 ３．上記表示段階は、上記リアルタイム先導像及び従動像から複合像を形成しそ してその複合像を表示する段階を含む請求項１に記載の方法。 ４．上記識別段階は、上記リアルタイム先導像及び従動像を第１及び第２組のサ ブ物体にセグメント化する段階を含む請求項１に記載の方法。 ５．上記識別段階は、上記サブ物体を分類する段階を更に備えた請求項４に記載 の方法。 ６．先導像をリアルタイムで得る段階の前に、 上記第２の像形成様式により得られる先導像ライブラリーを設け、そして デジタル像分析により上記従動像ライブラリーに対して先導像ライブラリー をレファレンスして、従動像視線を先導像視線と相互参照するという段階を更に 備えた請求項１に記載の方法。 ７．定位フレームを使用して上記従動像ライブラリー及び先導像ライブラリーを 得、先導像ライブラリーをレファレンスする上記段階は、上記定位フレームによ り与えられる視線情報を使用することを含む請求項６に記載の方法。 ８．上記従動像ライブラリーに対してリアルタイム先導像をレファレンスする上 記段階は、デジタル像分析を使用して、リアルタイム先導像を先導像ライブラリ ーの先導像と相関させることを含む請求項６に記載の方法。 ９．全ての段階をリアルタイムで実行する請求項１に記載の方法。 10．上記表示段階は、定位ディスプレイを使用することを含む請求項１に記載の 方法。 11．物体の像を得て表示する方法において、 （１）第１の像形成様式を経て物体の従動像ライブラリーを得； （２）第２の像形成様式を経て得られる先導像ライブラリーを設け； （３）デジタル像分析により先導像ライブラリーを上記従動像ライブラリーと比 較して、従動像視線を先導像視線と相互参照し； （４）先導視野に沿って第２の像形成様式を経てリアルタイムで物体の先導像を 得、先導像は、あるスケール、回転及び位置を有し； （５）上記リアルタイム先導像を先導像ライブラリーと比較して、先導視野に対 応する従動像視線を識別し； （６）上記従動像を、上記先導像により表されたスケール、回転及び位置に対応 するように変換し；そして （７）その変換された従動像を表示するという段階を備え、上記の比較、変換及 び表示段階は、上記先導像をリアルタイムで得る段階の後に実質的にリアルタイ ムで行われることを特徴とする方法。 12．上記変換された従動像を表示段階の前に選択された深さに切断する段階を更 に備えた請求項１１に記載の方法。 13．上記先導像ライブラリーからの先導像を従動像ライブラリーの従動像と比較 する上記段階は、デジタル像分析の使用を含む請求項１１に記載の方法。 14．上記先導像ライブラリーからの先導像を従動像ライブラリーの従動像と比較 する上記段階は、定位フレームの使用を含む請求項１１に記載の方法。 15．従動像ライブラリーと、 先導像形成装置と、 上記先導像形成装置からの像を上記従動像ライブラリーからの従動像とリア ルタイムで相互参照するための処理手段と、 従動像を表示する手段と、 を備えたことを特徴とする像形成装置。 16．従動像を切断すべき深さを選択するための深さ制御器を更に備えた請求項１ ５に記載の装置。 17．先導像ライブラリーを更に備えた請求項１５に記載の装置。