JPH09508994A - 像形成装置及び方法 - Google Patents
像形成装置及び方法Info
- Publication number
- JPH09508994A JPH09508994A JP7520148A JP52014895A JPH09508994A JP H09508994 A JPH09508994 A JP H09508994A JP 7520148 A JP7520148 A JP 7520148A JP 52014895 A JP52014895 A JP 52014895A JP H09508994 A JPH09508994 A JP H09508994A
- Authority
- JP
- Japan
- Prior art keywords
- image
- leading
- driven
- library
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
Landscapes
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- Radiology & Medical Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
(57)【要約】
本発明は、ある様式によって得られる物体(10)の像をリアルタイムで得て表示し、その像が別の様式により確立される視線に対応するようにする方法及び装置(2)に係る。この方法は、第1の像形成様式を経て物体の従動像ライブラリー(14)を得;第2の像形成様式を経て得られる先導像ライブラリー(12)を設け;先導像ライブラリーを従動像ライブラリーに対してレファレンスし;先導視野に沿って第2の像形成様式を経てリアルタイムで物体の先導像を得;デジタル像分析によりリアルタイム先導像を先導像ライブラリーの先導像と比較して、リアルタイム先導視野に対応する従動像視線を識別し;その識別された従動像を、先導像のスケール、回転及び位置に対応するように変換し;そしてその変換された従動像を表示するという段階を備えている。
Description
【発明の詳細な説明】
像形成装置及び方法発明の分野
本発明は、一般に、像形成装置及び方法に係り、より詳細には、医療用の像形
成装置及び方法に係る。先行技術の説明
侵襲的な外科手術は、多数の有利な効果を与えるが、回復が困難な肉体的及び
心理学的ショックを患者に与える。それ故、患者へのショックを最小にするため
に、種々の最小限の侵襲的外科手順が開発されている。しかしながら、これらの
手順は、医師が作業する患者身体の部位を直接見ることができない状態で患者の
身体内で繊細な手順をしばしば実行しなければならない。それ故、医師に患者身
体の内部の情報を与える像形成技術を開発することが必要となっている。
更に、患者の非外科手術的又は外科手術前の医学的評価は、肉体的診断と共に
多数の異なる様式からの像を評価するという困難な作業をしばしば必要とする。
これは、医師が別々の時間に見るだけの個々の像形成様式からの多数のデータセ
ットをメンタルに統合することを必要とする。
今日、2次元、3次元及び4次元データを収集するために、多数の像形成技術
が一般に利用されている。これらの技術は、超音波、コンピュータ化されたX線
断層撮影(CT)、磁気共鳴造影(MRI)、電位断層撮影(EPT)、陽電子
放出断層撮影(PET)、脳電気的活動マッピング(BEAM)、磁気共鳴血管
造影(MRA)、単一光子放出コンピュータ断層撮影(SPECT)、磁気電気
脳造影(MEG)、動脈コントラスト注入血管造影、デジタル減算血管造影及び
X線透視を含む。各々の技術は、ある種の像を形成し、患者身体の特定部位を像
形成し、患者部位のある種の活動を表示し、そしてある手順において外科医を手
助けするのに多少役立つ特性を有している。例えば、MRIは、選択された位置
において患者身体の3次元表示を発生するのに使用できる。しかしながら、MR
I像形成装置の物理的な性質と、ある種の像を収集するのに要する時間により、
外科手術中に患者身体の変化を示したり又は身体内に置いた手術器具の位置を示
したりするようにリアルタイムで便利に使用することができない。一方、超
音波像は、比較的小さなプローブを用いてリアルタイムで発生することができる
。しかしながら、発生された像は、精度が悪く、3次元の細部は、他の像形成技
術によって作られる。
多数の種々の像及び/又は位置を指示する装置を使用した医療用像形成システ
ムは公知である。ハントンN著の「コンピュータグラフィックワールド(Compute
r Graphics World)」(1992年10月、第71−72ページ)は、超音波の
位置指示プローブを使用して、患者頭部の位置に対してMRI又はCT像をレフ
ァレンスするシステムについて記述している。MRI及び/又はCTスキャンの
前に患者の頭皮に3つ又は4つのマーカーが取り付けられる。これにより得られ
る患者の頭蓋骨及び脳の像と、マーカーの像は、コンピュータのメモリに記憶さ
れる。その後、手術室において、外科医は、音波プローブを各マーカーに接触し
そして手術台上の4つのマイクロホンにより取り上げられる音波信号を発生する
ことにより、音波プローブをマーカー(ひいては、MRI又はCI像)に対して
校正する。各マイクロホンにより受け取られる信号のタイミングがプローブ位置
の情報をコンピュータに与える。各マーカーに対するプローブ位置に関する情報
は、プローブを、コンピュータのメモリにおけるMRI及び/又はCT像と整列
させる。その後、患者の脳にプローブを挿入することができる。プローブから4
つのマイクロホンへの音波信号は、患者の脳のMRI像の中でプローブをいかに
移動したかを示す。外科医は、プローブの位置情報を使用して、他の医療器具を
患者の脳の所望の位置に配置することができる。プローブは手術台に対して空間
的に配置されるので、このシステムの1つの要件は、患者の頭部を手術台に対し
て同じ位置に保持することである。患者の頭が動くと、音波プローブをマーカー
に対して再校正しなければならない。
グリムソン、W.E.L.氏等の「フレームなしの定位、像ガイド外科手術、
及びリアリティを向上した視覚化のための自動整列方法(An Automatic Registra
tion Method for Frameless Stereotaxy,Image Guided Surgery,and Enhanced
Reality Visualization)」、IEEE CVPR ’94 プロシーディング
ズ(1994年6月、第430−436ページ)は、3次元データを手術台の上
の患者の頭部と整列し、レーザレンジファインダから導出される距離情
報を使用してビデオカメラの位置を患者に対して校正し、レーザ走査線像データ
を有するレーザレンジファインダのデータを医療像データとクロス相関させる装
置を開示している。このシステムは、MRI又はCTスキャン像を、レーザレン
ジスキャナにより得た患者の皮膚面の深さデータと整列し、次いで、対象物上の
レーザ点のビデオ像を基準3次元レーザデータと整合することにより患者に対す
るビデオカメラの位置と向きを決定する。このシステムは、説明されているよう
に、対話速度で機能するものではなく、即ち、このシステムは、患者において個
々に作業する視点の変化を反映するように像を変換することができない。このシ
ステムはターゲットまでの距離を測定するレーザレンジファインダのような扱い
難い装置に依存するので、元の強度像によりガイドされる3次元像変換を実行す
ることができない。上記文献は、頭部に取り付けるディスプレイを使用しそして
固定カメラを「外科医のおおよその視点」に配置し、即ち「肩越しに見る」こと
を仮説的に述べている。上記文献は、「観察者の位置を連続的に追跡できる」と
述べているが、著者がこれをいかに遂行するかの記載がない。
カラワスキーR著の「仮想現実及び仮想環境の科学(The Science of Virtual
Reality and Virtual Environments)」、第315−318ページ(アディソン
−ウイーズリ、1993年)は、CTスキャン装置のような3次元像処理システ
ムと一体化された位置感知連結アームを使用して、患者の頭蓋骨及び脳に関する
3次元情報を形成する像形成システムを開示している。上記ハントン氏によって
述べられた装置のように、CTスキャンの前に患者の頭皮に金属性のマーカーが
配置される。コンピュータは、CT造影において通常そうであるように、次々の
位置で一連の「切片」即ち平面像を取り上げ、次いで、その切片間を補間して、
3次元像を形成することにより、患者の頭蓋骨の3次元像(マーカーを含む)を
発生する。3次元像を得た後に、マーカーの位置を連結アームの空間位置と相関
させることにより連結アームを校正することができる。患者の頭部がCTスキャ
ン以来動かない限り、患者の外部におけるアームの位置を3次元CT像と整列す
ることができる。
ハイルブランM.P.著の「ブラウン−ロバート−ウェルズ(BRW)像ガイ
ド定位システムに使用するマイクロコンピュータの発展と統合(The Evolution
and Integration of Microcomputers Used with the Brown-Roberts-Wells(BRW)
Image-Guided Stereotactic System)」(ケリー、P.J.氏等の「定位神経外
科におけるコンピュータ(Computers in Stereotactic Neurosurgery)、第43−
55ページ(ブラックウエル・サイエンティフィック・パブリケーション、19
92年)に掲載)は、ノイズのような外部標識点に対し頭蓋内の構造をレファレ
ンスする(同じ像セット内で)将来の可能性を簡単に説明している。しかしなが
ら、これをどのように行うかは説明しておらず、又これを種々の像比較又は構成
に使用することは述べていない。
ピーターズ、T.M.氏等(ケリー、P.J.氏等の「定位神経外科における
コンピュータ」、第196ページ(ブラックウエル・サイエンティフィック・パ
ブリケーション、1992年)に掲載)は、定位フレームを、像分析を用いるシ
ステムと共に使用して、定位フレーム上のN字型マーカーの断面の位置によって
指示されるMR又はCTで得た各断層撮影切片上の位置マーカーを読み取ること
を述べている。この方法は既に収集した断層撮影データを整列するには有用であ
るが、外科医の視野をそのデータに整列する助けはしない。更に、この技術は、
定位フレームなしに使用することはできない。
ジョレス、S.J.氏の「対話型定位手術室(An Interactive Stereotactic O
perating Suite)」、及びカール、B.A.氏の「包含的多種外科手術プランニ
ング及び対話型神経外科手術(Comprehensive Multimodality Surgical Planning
and Interactive Neurosurgery)」(両方ともケリー、P.J.氏等の「定位神
経外科におけるコンピュータ」、第67−86ページ、第209−229ページ
(ブラックウエル・サイエンティフィック・パブリケーション、1992年)に
掲載)は、ハードウェア及びソフトウェアのCompass(登録商標)システ
ムを説明している。このシステムは、定位フレーム基準マーカーの自動読み取り
や、2次元データからの3次元再構成や、像の変換(スケーリング、回転、並進
移動)を含む種々様々な像処理機能を実行することができる。このシステムは、
「内部顕微鏡」を備え、これにより、手術の軌跡に位置及びスケールが相関され
た3次元的に再構成された腫瘍のコンピュータ発生切片を、その下の組織の内部
顕微鏡拡大図と一緒に見ることができる。しかしながら、像の整列は、像の分析
によって行われない。更に、外科医の瞬間的な視点に続いて断層撮影表示を適切
に変化させる手段については記載されていない。又、この方法も、定位フレーム
に依存し、患者の頭が動くと、おそらくこの方法は実行できない。
スーテンズ、P氏等(ケリー、P.J.氏等の「定位神経外科におけるコンピ
ュータ」、第252−253ページ(ブラックウエル・サイエンティフィック・
パブリケーション、1992年)に掲載)は、頭部に取り付けられたディスプレ
イを磁気式の頭部追跡装置と共に使用し、脳のコンピュータ像の視点をユーザの
頭の動きに対して変更することについて説明している。しかしながら、このシス
テムは、外科手術手順の間にリアルタイムで収集される情報を既に収集した像デ
ータに相関することのできる手段を提供するものではない。
ロバート、D.W.氏等の「フレームなしの定位外科手術中のコンピュータ像
表示(Computer Image Display During Frameless Stereotactic Surgery)」(ケ
リー、P.J.氏等の「定位神経外科におけるコンピュータ」、第313−31
9ページ(ブラックウエル・サイエンティフィック・パブリケーション、199
2年)に掲載)は、CT、MRI及び血管造影ソースからの手順前の像を、超音
波レンジファインダ、患者の上に配置された超音波マイクロホンのアレー、及び
患者に取り付けられた複数の基準マーカーの使用により、手術室内の患者の実際
の位置に整列させるシステムを説明している。手術用の顕微鏡には超音波「スパ
ークギャップ」が取り付けられ、患者に対する手術用顕微鏡の位置を決定するこ
とができる。顕微鏡の焦点面に対応する記憶されたMRI、CT及び/又は血管
造影像を表示することができる。
ケリー、P.J.氏(ケリー、P.J.氏等の「定位神経外科におけるコンピ
ュータ」、第352ページ(ブラックウエル・サイエンティフィック・パブリケ
ーション、1992年)に掲載)は、磁気式の頭部追跡装置を用いて、確立された
3次元座標系内の動きを追跡することにより手術用顕微鏡に外科医の変化する視
野を追跡させる将来の可能性について考察している。しかしながら、このような
システムを構成するには不充分な情報しか与えられていない。更に、この方法も
、定位フレームに依存し、患者の頭部が動くと、座標の相関をとることができな
い。
バーチャル・レアリティ・ワールド(1993年11/12月)第18−33
ページに掲載されたクルーガ、M.W.氏の「皇帝の新たな真実(The Emperor's
New Realities)」は、リアルタイム像を記憶された像に相関させるシステムを
一般的に述べている。しかしながら、相関される像は、異なる物体の像であり、
ユーザの視点は追跡されない。
最後に、バーチャル・レアリティ・ワールド(1994年1/2月)第49−
61ページに掲載されたストーン、R.J.氏の「英国バーチャル・リアリティ
ライフの年(A Year in the Life of British Virtual Reality)」は、レーザレ
ンジファインダで部屋を走査し、そして「以前のコンピュータ助成設計モデルプ
リミティブのライブラリーと整合するのに適した」簡単な幾何学形状にデータを
処理するシステムの開発におけるアドバンスド・ロボティックス・リサーチ・リ
ミテッドの発展について述べている。この方法は、異なる様式で収集した2組の
像を一般的に関連付けることに向かってグループが作用することを指示すると思
われるが、この文献は、このような整合を遂行する手段を示していない。又、い
かなる点においても分類を伴うとは思われない。リアルタイムで像セットを収集
し、処理しそして相互作用する手段は設けられず、そして手順を遂行するユーザ
の瞬間的な視点を追跡し、これにより、別のデータセットをアクセスするための
手段も設けられない。
以上の公知技術から明らかなように、患者を診察しているか又は患者に手順を
施している医師の瞬間的な視野に整列させて、単一様式又は多数の様式の像形成
データを多次元でその適当なサイズ、回転、向き及び位置に表示することのでき
る像形成システムをもつことが要望される。更に、これらの目標を達成するため
に患者に定位フレームを固定する経費、不快感及び負担を伴わずに、これを行え
ることが望ましい。又、シールされたシャーシ内に収容される装置の修理のよう
な非医療手順にもこの技術を利用できることが望ましい。発明の要旨
本発明は、ある様式により得られる物体の像をリアルタイムで得て表示し、そ
の像が別の様式により確立される視線に対応するようにする方法及び装置を提供
する。この方法は、好ましい実施形態において、第1の像形成様式を経て物体の
従動像ライブラリーを得;第2の像形成様式を経て得られる先導像ライブラリー
を形成し;上記従動像ライブラリーに対して先導像ライブラリーをレファレンス
し;先導視野に沿って上記第2の像形成様式を経てリアルタイムで物体の先導像
を得;上記リアルタイムの先導像をデジタル像分析により上記先導像ライブラリ
ーの先導像と比較して、その先導像に対応する従動像視線を識別し;その識別さ
れた従動像を先導像のスケール、回転及び位置に対応するように変換し;そして
その変換された従動像を表示し、上記比較、変換及び表示段階は、リアルタイム
で先導像を得る段階と実質的に同時に行うという段階を備えている。
以下、添付図面を参照して、本発明を詳細に説明する。図面の簡単な説明
図1は、本発明の像形成装置の好ましい実施形態を示すブロック図である。
図2は、本発明の方法の好ましい実施形態を示すフローチャートである。
図3は、本発明の方法の別の実施形態を示すフローチャートである。発明の詳細な説明
定義
以下の定義は、本発明の装置及び方法を理解し、使用する上で有用である。
像:ここで使用する「像」とは、患者の解剖学的又は機能的な特徴の空間的な
配置を表すデータを意味し、目に見えるグラフィックな形態で実際に表されても
よいし、そうでなくてもよい。換言すれば、コンピュータメモリに入れられた像
データ及びコンピュータスクリーンに現れる像は、像(1つ又は複数)と称され
る。像の非限定例として、MRI像、血管造影像、等が含まれる。ビデオカメラ
をデータ収集方法として使用するときには、「像」は、そのときに処理するのに
適したシリーズのうちの1つの特定の「フレーム」を指す。「先導視野」(典型
的に、外科医が手順を見ようとする視線)の軌跡に対応する平面において患者の
身体の3次元再構成を「再切断」する能力はこの方法にとって重要であるから、
「像」は、再構成が得られるところの最初に収集した2次元ファイルの1つでは
なくて、3次元像再構成の適切に切断された像を指すこともある。又、「像」と
いう用語は、基準マーカー、サブ物体、又は知識の表示のような選択された像の
一部分を意味するのにも使用される。
像形成様式:ここで使用する「像形成様式」とは、像を得るための方法又はメ
カニズム、例えば、MRI、CT、ビデオ、超音波、等を意味する。
先導視野:ここで使用する「先導視野」とは、所与の時間に物体に向いた視線
を意味する。典型的に、先導視野は、医師が所与の時間に手順を見ようとする視
線である。シースルーの頭部取付ディスプレイ及び頭部取付カメラが使用される
場合には、これは、医師の瞬間的な視線でなければならない。先導視野がシフト
するときには、他の全ての像がそれらの視野を先導視野に対して調整し、複合像
を作るために収斂する全ての像を正確なものにしなければならない。
先導像:ここで使用する「先導像」とは、先導視野と同じ様式により得られる
像である。例えば、先導視野が、医師が患者の表面を見ることである場合には、
先導像は、患者の表面の対応するビデオ像となる。
従動像:ここで使用する「従動像」とは、先導視野及び切断深さ制御の仕様へ
と変換及びおそらくは切断されねばならない像である。適切に切断及び変換され
た従動像は、通常は、先導像に平行な平面内にあり、従って、先導視野に直交す
るが、他の切断輪郭も使用できる。適切に変換された従動像は、先導像と同じ視
野角であるが、個別に決定された深さにある。
複合像:ここで使用する「複合像」とは、異なる様式を各々表す2つ以上のソ
ースからの適切に整列された先導像及び従動像の組み合わせから得られる像であ
る。
基準マーカー:ここで使用する「基準マーカー」とは、先導像又は従動像に存
在する特徴、像構造又はサブ物体であって、像の分析、整合、像の座標相互参照
又は整列、及び複合像の形成に使用できるものである。
特徴の抽出:ここで使用する「特徴の抽出」とは、行われる像の分析にとって
重要な像成分の識別の方法を意味する。これらは、分析される像における境界、
角度、面積、質量の中心、中心モーメント、円形度、矩形度、及び領域のグレー
スケール強度を含む。
セグメント化:ここで使用する「セグメント化」とは、像を描こうと試みる元
のシーンに関してある物理的な重要性を有するエリアへと像を分割する方法であ
る。例えば、セグメント化は、外耳管のような個別の解剖学的構造の分画を含む
が、実際には分類までは識別されなくても良い。従って、特徴の抽出は、像をセ
グメント化することのできる1つの方法である。更に、既にセグメント化された
エリアは、その後に、特徴の抽出を受けることができる。像分析の分野で良く知
られたセグメント化方法の他の非制限例は、スレッシュホールド処理、縁検出、
ハウ(Hough)変換、領域成長、ラン長さ接続分析、境界分析、テンプレートマッ
チング、等を含む。例えば、ローゼンフィールド、A著の「像サブセットのファ
ジィ形状(The fuzzy geometry of image subsets)」(ベツデク、J.C.氏等
の「パターン認識のためのファジィモデル(Fuzzy Models for Pattern Recognit
ion)」、第340−346ページ(IEEE、1992年)に掲載)を参照され
たい。
分類:ここで使用する「分類」とは、物体をその特徴に基づいてある形式のも
のであると識別する本発明の像形成方法の段階を意味する。例えば、像における
あるセグメント化された物体は、他のセグメント化された物体に対し、サイズ、
形状、ピクセル密度及び位置について所定の基準内に入るかどうかに基づき外耳
管であるとコンピュータにより識別される。本発明においては、分類は、物体を
見るところの角度又はカルテシアン位置(視線)、例えば、指定の原点の30°
北及び20°西から見た外耳管を含むように拡張される。種々様々な分類技術が
知られており、統計学的技術(例えば、デービス、E.R.著の「機械の視覚:
理論、アルゴリズム、実施性(Machine Vision: Theory,Algorithms,Practicali
ties)」、第435−451ページ(アカデミック・プレス、1992年)を参
照されたい);及びファジィ論理技術(例えば、ベツデク、J.C.氏等の「パ
ターン認識のためのファジィモデル(Fuzzy Models for Pattern Recognition)」
第1−27ページ(IEEE、1992年);サイ、P氏等の「手書き数字文字
認識のためのファジィ論理(Fuzzy Logic for Handwritten Number Character Re
cognition)」(ベツデク、J.C.氏等の「パターン認識のためのファジィモデ
ル」第321−325ページ(IEEE、1992年))を参照されたい)を含
む。分類技術については、ファーガーズ著の「3次元コンピュータ視覚(Three-D
imensional Computer-Vision)」第483−558(MITプレス1989年)
及びハラリック、R.M.氏等の「コンピュータ及びロボット視覚(Computer an
d Robot Vision)」第2号、第43−185、
289−378、493−533ページ(アディソン・ウェスリ1993年)に
説明されている。
変換:ここで使用する「変換」とは、並進移動(並進形態の移動)、回転(2
次元又は3次元)、縮小拡大、剪断、曲げ、遠近配置、又は指定の基準に基づく
他の変更のような像の処理を意味する。バージャ、P著の「対話型コンピュータ
グラフィック(Interactive Computer Graphics)」第173−186ページ(ア
ディソン・ウェスリ1993年)を参照されたい。
整列:ここで使用する「整列」とは、同様の又は対応する形状の及び同じ組の
物体の2つの像を互いに一致するように配置し、像形成されたシーンの対応する
点が整列像の同じ位置に現れるようにする整列プロセスを意味する。好ましい実施形態の詳細な説明
便宜上、本発明の好ましい実施形態は、脳外科手術又は他の侵襲的な外科手術
のような医療分野について説明する。又、本発明は、医療診察、古代のそしてし
ばしば壊れ易い物品の分析、航空機の荷物、化学的組成(核磁気共鳴スペクトル
分析の場合)、小さなアクセス通路を経ての閉じた部片の修理等を含む(これら
に限定されないが)他の用途にも適用できる。
本発明は、像データを選択しそして整列する新規な方法を提供することにより
多様式の複合像を形成する初期の方法及び装置を改善する。又、本発明は、動的
な視野にある間にユーザの視線に対して調整することにより像を見る初期の方法
も改善する。図1は、本発明の好ましい実施形態により物体10の像を表示する
ための像形成システム2のブロック図である。2つの異なる様式により得られた
物体10の像の先導ライブラリー12及び従動ライブラリー14は、処理手段1
6と通信する。各々のライブラリーの像形成様式は、CTスキャン、MRIスキ
ャン、音波図、血管造影図、ビデオ、又は公知の他の像形成技術である。各ライ
ブラリーは、物体に関する像データを含む。
より詳細には、像形成装置の少なくとも1つは、物体10の内部を見てその像
を構成することのできる装置である。像(又はそれらの分析から収集されたデー
タ)は、編成され且つ検索可能な状態でライブラリー内に記憶される。ライブラ
リーは、検索可能な像データを記憶する何らかの適当な手段、例えば、電子メモ
リ(RAM、ROM等)、磁気メモリ(磁気ディスク又はテープ)、或いは光学
メモリ(CD−ROM、WORM等)でよい。
処理手段16は、像ライブラリー12及び14の対応するデータを相互参照し
て、一方のライブラリーの像又はデータを他方のライブラリーの像又はデータに
関連付けるマップ又はテーブルを形成する。好ましい相互参照方法は、以下に詳
細に述べる。処理手段16は、SGIリアリティエンジングラフィックスサブシ
ステム(シリコン・グラフィックス社から入手できる)及び他の適当なソフトウ
ェアを有するSGI Onyx対称的マルチプロセスシステムワークステーショ
ンのようなスタンドあローンコンピュータである。或いは又、処理手段16は、
この特定の用途に対して特に設計された像プロセッサでもよい。
先導像形成装置18は、選択された透視線又は視線に沿って物体10の像を得
るために設けられる。例えば、物体10が手術室内の患者である場合には、先導
像形成装置18は、付添いの医師の視線に沿って患者のビデオ像を得るビデオカ
メラ、例えば、頭部に取り付けられたビデオカメラである。先導像形成装置18
は、その先導像を処理手段16に送信し、該処理手段は、その先導像を従動像ラ
イブラリー14からの対応する従動像と相互参照し、そしてその像を先導像に対
応するように変換する。従動像が切断(スライス)される深さは、従動像の切断
を行うべき深さを識別するための深さ制御器24(マウス、ジョイスティック、
ノブ又は他の手段)により制御される。従動像(或いは先導像形成装置18から
の先導像と、ライブラリー14からの対応する変換された従動像とを合成する複
合像)は、ディスプレイ20に表示される。ディスプレイ20は、処理手段16
の一部分であってもよいし、又は独立したディスプレイであってもよい。
好ましい実施形態において、物体10は、少なくとも1つの基準マーカー22
を有する。この基準マーカーは、物体10の固有の特徴(患者の身体内の特定の
骨の構造のような)であるか、或いは物体10に取り付けられるか又は他の仕方
で関連された自然の又は人為的なサブ物体である。以下に詳細に述べるように、
本発明のシステム及び方法は、先導像と従動像を相互参照するか又はリアルタイ
ムで収集される先導像を先導像ライブラリーの先導像又はデータに相互参照する
ために1つ以上の基準マーカーを使用する。
図2は、本発明の基本的な方法を示すフローチャートである。このフローチャ
ートにおいて、段階は、外科手術手順をスタートする前に行われる段階と、リア
ルタイムで即ち手順中に行われる段階とに分割される。この例において、当該物
体は、身体又は身体の特定の一部分、例えば、患者の頭部であり、2つの像形成
様式は、患者の頭部のMRIスキャン(従動像様式)と、患者の頭部の表皮のビ
デオ像(先導像様式)である。しかしながら、本発明は、種々の環境及び用途に
使用できることを理解されたい。
好ましい実施形態において、先導像及び従動像は、手術手順中にリアルタイム
で使用する情報を収集するために、手術手順の前に相互参照される。この手順前
の段階に収集された先導像及び従動像の相互参照は、患者とビデオカメラとの間
及び患者とMRI装置との間に共通の物理的な座標を維持することにより行うの
が好ましい。それ故、この好ましい方法の第1段階(図2のブロック30で一般
的に示された)は、患者の頭部を定位フレームのようなホルダに動かないように
取り付けることである。
次いで、従動像情報を収集するために、患者の頭部と定位フレームとのMRI
スキャンが行われ、3次元データ(患者の頭部及び定位フレームに関する座標デ
ータを含む)が、ブロック34に示すように、従来のやり方で処理されて、従動
像ライブラリーのようなメモリに記憶される。患者の頭部の処理前の先導ビデオ
像は、正確な位置においてデジタル像を自動的に得るカメラによって得られるの
が好ましい。正確な定位位置間に器具を自動的に移動させるように構成されたロ
ボット装置が、ヤング、R.F.氏等の「ロボット助成式外科手術(Robot-aided
Surgery)」;及びベナビッド、A.L.氏等の「定位神経外科手術のためのコン
ピュータ駆動式ロボット(Computer-driven Robot for Stereotactic Neurosurge
ry)」(ケリー、P.J.氏等の「定位神経外科手術におけるコンピュータ」第
320−329、330−342ページ(ブラックウエル・サイエンティフィッ
ク・パブリケーション、1992年)に掲載)によって説明されている。このよ
うな装置は、先導ライブラリーの収集のために適切な先導観察角度にカメラを移
動するのに使用できる。例えば、定位フレームを用いると、ビデオカメラを3つ
の平面において頭部の周りに移動して、2mmごとの像を得ることができる。
各像は、視線又は像を得たところの軌跡に関する情報と共に先導像ライブラリー
に記憶される。これら全ての像を得た後に定位フレームを患者の頭部から除去す
ることができる。
MRI及びビデオ像を得る段階中に患者の頭部を定位フレームに動かないよう
に保持することにより、先導(ビデオ)及び従動(MRI)像データに共通の座
標系が与えられる。従って、記憶されたビデオ像の一部分を示す視線の識別は、
記憶されたMRI像の対応する視線の識別と同等である。記憶された先導像及び
従動像を相互参照する情報それ自体は、手術手順中にリアルタイムで使用するた
めに記憶される。
この方法の手順前部分の最終段階として、ビデオ先導像をデジタルで分析し、
予め定めた基準マーカーを識別する。好ましい実施形態において、先導像ライブ
ラリーに記憶された各先導像のデジタル表示は、サブ物体にセグメント化され、
即ち分断される。セグメント化は、公知の適当な手段によって行うことができ、
例えば、特徴の抽出、スレッシュホールド処理、縁検出、ハウ変換、領域成長、
ラン長さ接続分析、境界分析、テンプレートマッチング等によって行うことがで
きる。本発明の好ましい実施形態は、R.レービスの「実用的なデジタル像処理
(Practical Digital Image Processing)」(エリス・ホーウッド社1990年)
に説明されたように、キャニー縁検出技術を使用している。セグメント化プロセ
スにより、ビデオ像は、定められた境界、形状、及び全像内の位置を有するサブ
物体に分割される。
キャニー縁検出セグメント化技術は、像が2次元であるか3次元であるかに基
づいて変更することができる。この例では、像は、もちろん、2次元ビデオ像で
ある。ほとんどのセグメント化解決策は、2次元像又は3次元像のいずれに使用
することもできるが、ほとんどの文献は、2次元像のセグメント化に関するもの
である。3次元物体のセグメント化に2次元解決策を適用できるようにする1つ
の方法は、3次元構造体を表すシリーズの各2次元切片において2次元セグメン
ト化プログラムを実行することである。これら切片の各対応部分をその後に補間
することにより、3次元のセグメント化された物体を含む3次元像が得られる。
計算力の最も低いセグメント化方法は、スレッシュホールド処理を使用するこ
とである。指定の値より上及び下のピクセルは、通常、そのピクセルが入るスレ
ッシュホールドの縁を表す2進状態へピクセルを切り換えることにより分離され
る。スレッシュホールド処理及びそれに関連した公知の縁検出方法を使用し、そ
して視覚的に個別の基準を使用することにより、像の所望のエリアが他のエリア
から分離される。抽出された輪郭が不連続部を有する場合には、良く知られた単
純な「リンク」アルゴリズムを用いて、密接に位置したピクセルを接続すること
ができる。
2進化されたセグメント化領域がパターン又はテンプレートマッチング(リア
ルタイムビデオ像と先導ライブラリー像との間の)に使用される場合には、ビデ
オと従動ライブラリーとの間の相関が本発明の方法に基づいてとられる。先導像
と従動像は、例えば、スレッシュホールド処理により、迅速且つ効率的にマッチ
ングできるように同様に処理されるのが好ましい。計算負荷を処理手段から更に
除去するために、均一な照明状態を設定し、そしてビデオカメラの入力感度又は
出力レベルを選択されたレベルに設定して、ある強度のピクセルのみが見えるよ
う保持するだけで、スレッシュホールド処理をコンピュータによる何らかの処理
の前に効率的に行うことができる。従って、当該基準形状のみがプロセッサに到
達する。スレッシュホールド処理のような方法を、均一な照明及び個別の基準、
並びに効率的な分類方法と共に使用することにより、ここに述べる像分析は、そ
の像分析のために特に設計されたものでないハードウェアを用いても、リアルタ
イムで(即ち、対話速度で)実行することができる。
像(特に医療用の像)の低コントラスト点をセグメント化する際の難点を解消
する助けとして、この分野では、新たなセグメント化技術の開発に多くの努力が
払われている。おそらく将来特に有用であるのは、各点に、それが所与のセグメ
ント化された物体の一部であるかどうかについてある度合いの確率を指定する統
計学的なセグメント化技術である。この確率は、所与の質の他のピクセルに対す
るピクセル強度及び位置を含む種々のファクタに基づいている。各ピクセルの確
率がいったん決定されると、グループとしてピクセルの評価を行うことができ、
そして改善された精度でセグメント化を行うことができる。このような技術を用
いると、単一フィールドの3次元ファイルのセグメント化は、一連の2次元像に
ついてセグメント化を行いそしてそれらを組み合わせるのが好ましい。というの
は、3次元ファイルは、統計をベースとするセグメント化判断を行うときに更に
多くの参照点を与えるからである。ローゼンフィールド、Aの「像サブセットの
ファジイ形状(The fuzzy geometry of image subsets)」(ベツデク、J.C.
氏等の「パターン認識のためのファジィモデル(Fuzzy Models for Pattern Reco
gnition)」、第340−346ページ(IEEEプレス、1992年)に掲載)
に述べられたようなファジィ論理技術を使用することもできる。
この像分析段階の最終部分は、サブ物体を分類することである。分類は、公知
の手段によって行われる。統計学的、ファジィ、関連性及び特徴をベースとする
モデルに基づくものを含む健全な文献に、種々様々な像分離方法が説明されてい
る。特徴をベースとするモデルを用いる場合に、特徴の抽出は、セグメント化像
又は非セグメント化像において行われる。それら特徴の質と、クラス定義におい
て既に指定された質との間に一致がある場合には、物体がその形式であるとして
分類される。クラス形式は、個別の解剖学的構造、及び本発明の場合には、個別
の視点から現れる個別の解剖学的構造を記述することができる。
一般に、像の各セグメント化されたエリアの特徴は、基準マーカーを記述する
特徴基準のリストと比較される。基準マーカーは、物体の独特の且つ識別可能な
特徴、例えば、患者の身体内の特定の骨又は軟骨構造により生じる表面形状であ
るのが好ましい。例えば、システムは、眼球を、ある直径範囲内の直径及びある
強度範囲内のピクセル強度を有するほぼ球状の物体として記述することにより、
基準マーカーとして使用することができる。他の潜在的な基準マーカーは、鼻、
眉毛、耳介及び外耳管である。或いは又、基準マーカーは、頭皮のマーカーのよ
うな独特のマーカーを与える目的のみで、像形成の前に物体に追加することがで
きる。このようなマーカーは、典型的に、使用する各々の像形成様式において見
えるように選択される。例えば、硫酸銅のカプセルは、MRI及びビデオカメラ
の両方に見ることができる。更に別に、手順前の段階で使用される定位フレーム
は、頭部に取り付けられたままでもよい。いずれにせよ、物体を自動的に確認で
きる場合には、それを基準マーカーとして使用することができる。
本発明により使用されるセグメント化、特徴抽出及び分類段階は、特注のソフ
トウェアで行われる。2次元像の適当な分析は、マクロスクリプトで処理をガイ
ドしながらグローバル・ラボ・イメージのような市販のソフトウェアで行うこと
ができる。
先導及び従動ライブラリーに記憶された像が相互参照されそして先導像の基準
マーカーが識別された後に、システムは、医療手順中にリアルタイムで像を形成
する(即ち、対話速度で像を得る)のに使用する準備ができる。この例では、医
師の視線に沿った患者の頭部のリアルタイム先導像が、図2のブロック38で示
すように、医師の頭部に取り付けられたデジタルビデオカメラにより得られる。
個々のビデオ像は、フレームグラバを経て得られる。
好ましい実施形態において、各ビデオ像は、好ましくは上記のデジタル像分析
技術を用いて、先導像ライブラリーの対応する像とリアルタイムで(即ち、対話
速度で)相関される。より詳細には、先導像はセグメント化され、そしてセグメ
ントされた先導像のサブ物体は、1つ以上に基準マーカーを識別するように分類
される。リアルタイム先導像の各基準マーカーは、先導像ライブラリーの対応す
る基準マーカーと位置、向き及びサイズが一致され、ひいては、相互参照情報に
より従動像ライブラリーにおける対応する位置、向き及びサイズと一致される。
従動像は、その後、並進移動され、3次元において回転され、そして選択された
先導視野の仕様に一致するようにスケールが決められる。像を互いに一致するよ
うに並進移動及び/又は回転及び/又はスケール決めするプロセスは、変換とし
て知られている。従動像は、点の密度マトリクスとして記憶、操作又は表示され
てもよいし、或いは記憶、操作又は表示の前に公知の手段によってセグメント化
されたベクトルベースの像に変換されてもよい。
従動像は、この例では、3次元であるから、この一致段階は、「表面」のみが
通常に見える3次元ボリュームを形成する。それ故、この方法の次の段階は、見
ようとする切片の所望の深さを選択することである。切片の深さは、マウス、ノ
ブ、ジョイスティック又は他の制御機構によって選択される。変換された従動像
は、次いで、ルース、J.C.の「像処理ハンドブック(The Image Processing
Handbook)」第393−400ページ(CRCプレス、1992年);バーガ、
P.氏等の「対話型コンピュータグラフィックス(Interactive Computer Graphi
cs)」第195−235ページ(アジソン−ウェスリ、1989年)に述べられ
たように、公知の手段により指定の深さまで切断される。
一般に、切断アルゴリズムは3次元像において切断面を指定しそして観察者と
その平面との間に位置するデータを無視するか又は透過するようにコンピュータ
に指令することを含む。像は一般にメモリにアレーとして表されそしてそのアレ
ーにおける各画素の位置はそれが表す物理的空間に数学的に対応しているので、
その平面により分割されるアレーの画素を数学的に識別することにより切断平面
を指定することができる。それにより得られる像は、指定の平面において切断さ
れた3次元物体を見たときの2次元表示となる。
1つの実施形態において、システムのグラフィック機能は、SGIリアリティ
エンジン及びサン・マイクロシステムズ・フリーダム・シリーズグラフィックサ
ブシステムと共に使用できるような「3次元テクスチャマッピング」機能を使用
することができる。SGIリアリティエンジンハードウェア/ソフトウェアグラ
フィックスプラットホームは、例えば、「テクスチャメモリ」にボリュームを記
憶できるようにする「3Dテクスチャ」と称する機能をサポートする。テクスチ
ャ値は、3次元座標システムにおいて定義され、そして2次元切片は、このボリ
ュームに交差する平面を定義することによりこのボリュームから抽出される。従
って、本発明の3次元従動像情報は、リアリティエンジンのテクスチャメモリに
テクスチャとして記憶され、切片は、上記のように得られる。
別の実施形態においては、サン・マイクロシステムズのSXグラフィックスサ
ブシステム、並びにサン・マイクロシステムズのフリーダムシリーズ及びSGI
リアリティエンジングラフィックスサブシステムに見られるようなフレームバッ
ファ及びzバッファを含むメインメモリにおいて、3次元データセットが保持さ
れ、変換されそして切断される。
このシステムは、切断された従動像のみを表示することもできるし、或いは例
えば2つの像のデジタル加算により対応する先導像と共に複合像として表示する
こともできる。更に、変換及び切断された従動像は、医師の目の前に取り付けら
れたシースルーディスプレイに投影されて、患者についての医師の直視と効果的
に組み合わされるようにすることもできる。或いは又、複合先導像及び従動像は
患者に隣接するスクリーンに表示することもできる。表示された像は、新たな更
新された先導像が得られる間にスクリーンに保持され、プロセスが再びスタート
する。
像形成システムは、先導像を得そしてそれに対応する従動像又は複合像を実質
的にリアルタイムで(即ち、換言すれば対話速度で)表示するという段階を実行
する。換言すれば、先導像を得るのと、従動像又は複合像を表示するのとの間の
時間遅延は、表示された像が先導視野の変化を実質的にリアルタイムで追跡する
に充分なほど短い。従って、医療の領域では、医師が、医師、患者、医療器具等
の動きを反映する視覚フィードバックの一定の流れを受けることができるような
頻度で新たな像が処理されそして表示される。
第1の別の実施形態では、像形成方法の手順前部分において先導及び従動ライ
ブラリーの像を相互参照することが、単にデジタル像分析技術で行われる。各々
のデジタル化された先導像(例えば、ビデオ像)がセグメント化され、そしてサ
ブ物体が分類されて基準マーカーを識別する。従動像(例えば、MRI像の表面
の観察)の基準マーカーも、同様に識別される。先導像及び従動像を相互参照す
るマップ又はテーブルが、従動像の基準マーカーを先導像の基準マーカーに対応
するように変換することにより形成される。相互参照情報は、リアルタイムの像
形成中に使用するために記憶される。或いは又、パターンマッチング技術を用い
て、特定の基準マーカーを識別せずに像をマッチングさせてもよい。デービス、
E.R.の「マシンの視覚:理論、アルゴリズム、現実性(Machine Vision: The
ory,Algorithms,Practicalities)」第345−368ページ(アカデミック・
プレス、1992年);ハラリック、R.M.氏等の「コンピュータ及びロボッ
トの視覚(Computer and Robot Vision)」第2巻、第289−378、493−
533ページ(アジソン−ウエスリー、1993年);サイ、P氏等の「手書き
数字文字認識のためのファジィ論理(Fuzzy Logic for Handwritten Number Char
acter Recognition)」(ベツデク、J.C.氏等の「パターン認識のためのファ
ジィモデル」第321−325ページ(IEEE、1992年))を参照された
い。
先導像及び従動像のライブラリーを得そしてこれらライブラリーにおいて先導
像及び従動像を相互に参照した後に、第1の別の実施形態の方法を用いて、リア
ルタイムで得た先導像に対応する従動像の適切な切片が表示される。従って、例
えば、医師の頭部に取り付けられたビデオカメラで得た患者のリアルタイムビデ
オ像は、好ましい実施形態について上記したデジタル像分析技術を介して先導像
ライブラリーの先導像と相関させることができる。次いで、記憶された相互参照
情報を用いて、そのリアルタイム先導像に対応する従動像を識別することができ
る。
従動像は、先導像のサイズ、位置及び向きに一致するように変換される。又、
3次元従動像は、深さ制御により選択された深さに切断される。次いで、変換及
び切断された従動像が単独で表示されるか、又はリアルタイムビデオ像と一緒に
複合像として表示される。その後にリアルタイムビデオ像が得られたときにプロ
セスが繰り返される。
第2の別の実施形態では、従動像がリアルタイムで切断されない。むしろ、こ
の実施形態は、種々の平面で得られて多数の先導像視線及び切断深さにインデッ
クスされた予め切断された従動像の従動像ライブラリーを発生する。リアルタイ
ム先導像の分析によって所与の視線及び切断深さが呼び出されたときに従動像ラ
イブラリーから適当な従動像切片が検索される。この実施形態は、大きな像形成
装置メモリを必要とするが、装置によるリアルタイム処理はあまり必要とされな
い。
第3の別の実施形態が図3に示されている。この別の実施形態では、先導像を
得てその先導像をこの方法の手順前の部分中に従動像と相互参照する段階が除去
されている。むしろ、先導像形成装置によりリアルタイムで得た先導像は、先導
像と従動像との間のセグメント化及び分類段階をリアルタイムで実行するか又は
他の像又はパターンマッチング技術(ハラリック、R.M.氏等の「コンピュー
タ及びロボットの視覚」、第2巻、第289−377ページ(アジソン−ウエス
リー、1993年);サイ、P氏等の「手書き数字文字認識のためのファジィ論
理」(ベツデク、J.C.氏等の「パターン認識のためのファジィモデル」第3
21−325ページ(IEEE、1992年));デービス、E.R.の「マシ
ンの視覚:理論、アルゴリズム、現実性」、第345−368ページ(アカデ
ミック・プレス、1992年)に掲載されたような)を使用することにより、初
期に得た先導像を従動像に相関する予め存在するテーブル又はマップの利益を伴
わずに、従動像と直接的に相互参照させることができる。この第3の別の方法は
、システムプロセッサにかかるリアルタイム負荷を増加し、これは、ディスプレ
イのリフレッシュ時間を低速化し、即ち次々に表示される像と像との間の時間を
遅くする。しかしながら、この低速のリフレッシュ時間は、ある手順では受け入
れられる。更に、この解決策の1つの効果は、手順前段階に費やされる時間の若
干を排除することである。
更に別の実施形態においては、従動像をリアルタイムで得て、先導像にリアル
タイムで関連させることができる。この解決策は、手順前に得た像が不正確なも
のとなるように患者をある仕方で変化させる外科手術手順に用いるのに有用であ
る。
他の更に別の実施形態では、図2及び3に示す方法を、物体上の多数の基準マ
ーカーに対する関連情報を用いて実施することができる。例えば、好ましい実施
形態のように、単一の基準マーカーの向きを決定することによって物体の向きを
決定するのではなく、特定の視線から見た多数の基準マーカーの相対的な位置を
決定することにより三角測量を介して先導像及び従動像に関する向き及びサイズ
情報を決定することができる。(「オン・ザ・カッティング・エッジ・オブ・テ
クノロジー(On The Cutting Edge of Technology)」、第2−14ページ(サム
ズ・パブリッシング、1993年);モシェル、J.M.の「仮想環境の測量(A
Survey of Virtual Environments)」、バーチャールリアリティワールド、1月
/2月、1994年、第24−36ページを参照されたい。)それとは別に、像
分析技術を用いて、カメラ又は頭部の位置を直接というのではなく、その動きを
追跡することができる。(ハラリック、R.M.氏等の「コンピュータ及びロボ
ットの視覚」第2巻、第187−288ページ(アジソン−ウエスリー、199
3年);ファウゲラスの「3次元コンピュータビジョン(Three-Dimensional Compu
ter Vision)」、第245−300ページ(MITプレス、1989年)を参照
されたい。)
更に別に、基準マーカーを識別するのではなく、デービス、ハラリック及びサ
イ氏により説明されたパターンマッチング技術を、対応する像のプロセス前又は
リアルタイムマッチングに使用することができる。
像形成システム及び方法を用いて患者の頭部の像を発生しそして表示する第1
の好ましい実施形態の例を以下に説明する。2つの像は、(1)先導像としての
外科医の視野(外科医の頭部に取り付けられて患者の頭部の頭皮に向けられたデ
ジタルビデオカメラによって形成される)と、(2)従動像としての患者の頭部
の3次元CT像である。
これらの像は、手順前の段階において、処理コンピュータにより、フレーム・
グラバを経て(ビデオ先導像ライブラリーの場合)及び視線情報を含む予め形成
されたファイルとして(CT従動像ライブラリーの場合)得られ、そして2つの
別々のメモリバッファ又は像ライブラリーに入れられた。前記のように、先導像
及び従動像は、患者が定位頭部フレームを着用する間に得られるのが好ましい。
フレームの正確な器具ガイドを用いて(ロボット装置では、好ましいが、必ずし
も必要でない)、頭部の周りの種々の遠近関係から多数のビデオ像が得られる。
各像は、その像を得た視線又は軌跡と共に先導像ライブラリーに記憶される。次
いで、定位フレームが除去される。
先導像ライブラリーの像は、像を得る段階で導出された視線を相関させること
により従動像ライブラリーの像と相互参照される。この相互参照情報は、後で、
像形成プロセスのリアルタイム部分で使用される。
手順前の先導像及び従動像情報を収集した後に、像形成システムは、患者のリ
アルタイム像を得て表示するように使用される。この例では、リアルタイム先導
像は、医師の視線を追跡する頭部取付ビデオカメラによって得られる。各々のリ
アルタイム先導ビデオ像は、フレーム・グラバによって捕獲され、そして次のプ
ロセスに基づいて所定の基準マーカーを識別するように分析される。
リアルタイム先導像は、キャニー縁検出技術(レービス、R.の「実用的なデ
ジタル像処理(Practical Digital Image Processing)」、第211−217ペー
ジ(エリス・ホーウッド社1990年))によりセグメント化され、これは、像
に現れる異なる構造間の境界を識別する。この例の基準マーカーは、患者の頭蓋
骨の眼窩であり、これは、マーカーペンで周囲に輪を描くことによって増強され
る。眼窩の縁は、両方とも、ビデオカメラでは顔面上で骨の***として見ること
ができる。分類段階を実行するために、コンピュータは、例えば、左側の眼窩が
ほぼ円形のセグメントされた物体であって、そのサイズは52ないし150ピク
セルであり、ピクセルのグレー値はスレッシュホールド数0ないし75であるこ
とを知らせ、これは、ビデオ像の左側に生じる。
種々の視角から、眼窩は、いったんセグメント化されると、楕円形として見え
る。患者と顔を合わせて見たときに、眼窩を表す楕円は、少なくとも対とみなさ
れるときに、ほぼ厳密に円を近似する。数学/像分析用語では、長軸(楕円の長
い方の軸)が短軸(楕円の短い方の軸)にほとんど等しいと言える。x軸に沿っ
て移動するにつれて、水平軸が次第に短くなり、「軸比」が低下する。同時に、
「楕円角」(長軸とx軸との間の角度)がほぼ90°となる。対照的に、y軸に
沿って移動するにつれて、楕円の軸比は、同様に低下するが、楕円角は、今度は
0°となる。
これら極端な純垂直及び純水平の視点変化の間のいかなる組み合わせも、軸比
及び楕円角度の測定値にそれに応じて反映されることが明らかである。従って、
いかなる所与の観察も、ある視線に沿ったものとして決定し又は分析することが
できる。2つの楕円と他の基準との間の空間的な関係により(一方の眼窩は他の
(第3の)基準に対し他方の眼窩の左側である)左の観察と右の観察が混同する
ことはない。このように、コンピュータプログラムには、所与の形状及び向きの
楕円が特定の向きの頭部に対応することを「教示」することができる。長軸及び
短軸、並びにそれらの比は、良く知られた式によって計算され(プラット、W.
K.の「デジタル像処理(Digital Image Processing)」、第644ページ(ジョ
ン・ウイリー&ソンズ、1991年))そしてグローバル・ラボのような市販の
ソフトウェアパッケージの標準的な特徴である。又、このようなツールは、像を
分析して、それらを、同じ遠近関係からの基準マーカーを示す他の像と「マッチ
ング」させることができるようにする。或いは又、両方の眼窩及び鼻の橋部を含
むマスク形状の像が形態学的に抽出される場合には、明確な形状を含むことにな
る。
眼窩が識別された後に、リアルタイムの先導像の導出された向きは、手順前の
先導像に関する記憶された情報と比較され、医師の視線に対応する手順前先導像
が識別される。先導像及び従動像の初期の相互参照により、先導像の視線の識別
は、正しい従動像の視線を与える。リアルタイムの視線が記憶された先導像の視
線のいずれとも厳密に対応しない場合には、システムは、正しい視線を近似する
ように補間を行う。
正しい視線が決定された後に、従動像は、リアルタイム像とマッチングするよ
うに並進移動、回転及びスケーリングされねばならない。視線の場合と同様に、
これらの変換段階は、リアルタイムビデオ像の基準マーカー(この場合は眼窩)
の位置、向き及びサイズをそれに対応する先導ライブラリー像の基準マーカーの
同じパラメータと比較し、そしてそれらを、先導及び従動ライブラリーの像のサ
イズを関連付ける所定のスケーリングファクタ(倍率)と組み合わせて従動像に
適用することにより実行される。
従動像の変換の後に、従動像は、適当な深さで切断しなければならない。その
深さは、システムに関連した入力機構、例えば、マウス、ノブ、ジョイスティッ
ク又はキーボードを使用することにより選択できる。これにより得られた従動像
の切片は、次いで、医師に着用された頭部取付のシースルーディスプレイ、例え
ば、RPIアドバンスド・テクノロジー・グループ(カリフォルニア州、サンフ
ランシスコ)及びバーチャル・リアリティ・インク(ニューヨーク州、プレゼン
トビル)から市販されているディスプレイに表示される。
このプロセスは、需要時に繰り返されるか、又は新たなリアルタイム先導像が
ビデオカメラによって得られたときに自動的に繰り返される。
立体的表示は、CRTのフラットディスプレイ及び頭部取付ディスプレイに3
次元的な見掛けを与えるように従動像又は複合像を表示する有用な方法である。
又、立体的表示は、外科医に適切な深さの合図を与えることにより本発明の有効
性を改善することができる。
本発明においては、ユーザに3次元の視野を与える種々の方法を比較的容易に
使用することができる。1つの実施形態では、頭部取付のカメラがユーザの利き
目でない方の目に非常に接近して固定され、ユーザの自然の視覚視野と、シース
ルーの頭部取付ディスプレイに表示される合成視野との間の視差が、像の正しい
3次元視野の近似を形成する。
別の実施形態では、テクトロニクス・ディスプレイ・プロダクツ(Beave
rton,OR)によるステレオスコピック・ディスプレイ・キットのような交
番偏光フィルタがユーザの目と立体的ディスプレイとの間に使用される。立体的
システムは、合成3次元視野を与える視差付きの像対を人為的に表示する。この
ような立体的視野は、公知の手段によっ形成されて表示され、従来のCRT又は
シースルーの頭部取付ディスプレイを含む何らかのディスプレイ装置に表示され
る。この方法は、外科医のようなユーザに、患者身体内の特定構造の厳密な3次
元位置を見ているという非常に正確な錯覚を与える。このような方法は、本発明
により形成された像に高い現実性を与えるだけでなく、像によりガイドされる外
科手術手順をより正確で、安全で且つ有効なものにする。
本発明に使用されるハードウェアの速度及び効率は、特殊なサブシステムを使
用し、これらのサブシステム間の通信のような種々のタスクに対してホストシス
テムの全能力を使用できるよう保持することにより改善することができる。従っ
て、例えば、全ての視覚処理タスクに対してOnyxワークステーションを使用
できるが、MaxVideo 200及びMax860システム(マサチューセ
ッツ州、デンバーのデータキューブ社)或いはCognex 4400像処理ボ
ード(マサチューセッツ州、ニードハムのコグネックス社)のような特殊なマシ
ンビジョンサブシステムをOnyxと一緒に使用することができる。これらのサ
ブシステムは、リアルタイム縁検出、形状の抽出、セグメント化及び像の分類の
ような計算的に過酷なタスクをそれらのホストシステムから引き継ぐように設計
されている。
1つの構成において、MaxVideo200及びMax860サブシステム
は、リアリティエンジンと共にOnyxのVMEバスに常駐し、全てのサブシス
テムはOnyxの制御下にある。別の構成においては、MaxVideo200
及びMax860サブシステムは、SPACE LXE(カリフォルニア州、プ
リーザントンのゼミス・コンピュータ社)の制御のもとにあり、これらは全てリ
アリティエンジンと共にOnyxのVMEバスに常駐する。更に別の構成におい
ては、MaxVideo200及びMax860サブシステムは、フリーダムシ
リーズ3300グラフィックサブシステム(カリフォルニア州、マウンテンビュ
ーのサン・マイクロシステムズ)と共にSPACE20ワークステーションに常
駐し、これは、zバッファ及び3リニアMIPテクスチャマッピング特徴を有す
る。更に別の構成においては、MaxVideo200及びMax860サブシ
ステムは、SXグラフィックサブシステム(カリフォルニア州、マウンテンビュ
ーのサン・マイクロシステムズ)と共にSPACE20ワークステーションに常
駐する。上記のいずれの場合においても、MaxVideo200サブシステム
は、整数をベースとする像処理、フィルタ動作、像のセグメント化、幾何学的動
作及び特徴の抽出、像の分類(先導像導出変換命令)及び評価タスクを実行し、
その計算出力を直接的又は間接的にグラフィックサブシステムに通信する。Ma
x860サブシステムは、もし所望ならば、浮動小数点計算を必要とする同様の
機能を実行するのに使用することができる。
又、どんなハードウェア構成が選択されるかに基づいて種々のオペレーティン
グシステムを使用することができる。これらのオペレーティングシステムは、I
RIX(カリフォルニア州、マウンテンビューのシリコングラフィックス社)、
SunOS/Solaries(カリフォルニア州、マウンテンビューのサン・
マイクロシステムズ),LynxOS(リンクスリアルタイムシステムズ社)、
又はVXWorks(カリフォルニア州、アラメダのウインドリバーシステムズ
社)を含む。
本発明は、リモートコントロール式マシン(リモートコントロール式軍用乗物
のような)及び自律的ロボット(外科手術用ロボットのような)のビジョン(視
覚)システムの一部分として使用することができる。本発明の方法によって発生
された従動像視野又は複合視野は、肉眼又はビデオカメラの視野を妨げるが他の
何らかの手段により分かるエリアを経てガイドするのに使用することができる。
例えば、建物の内部が見えそしてその建物のCAD型のモデルも見える場合は、
軍事用装置は、外面図に基づいてその建物のいかなる部屋もターゲットにするこ
とができる。適当な従動像又は複合視野を、ロボット技術で良く知られた手段に
よりロボットの自律的ビジョンシステムに直接使用してもよいし、又はリモート
又はローカルの操作者により使用してもよい。
本発明の範囲から逸脱せずに変更が可能である。例えば、像形成様式は、血管
造影法(手術前に行われる)及び透視法(リアルタイムで行われそして先導像又
は従動像のいずれかとして使用される)であって、患者の身体に挿入された医療
器具の位置をリアルタイムで追跡できるものであってもよい。
更に、上記の例は、単一の身体マーカー(例えば、目、耳)を、視線を確立す
るキーとして主として使用したが、多数の特徴を同時に考えて、分類中に最良の
マッチングを決定することにより、最も正確な結果が得られることが明らかであ
る。一般に、コンピュータが識別できる基準マーカー及び特徴が多いほど、コン
ピュータがソース像の向きをより正確に決定することになる。更に、確認されて
いる物体内により多くの特徴を考慮することにより、付加的なソース像データを
得ることができる。例えば、スケーリングプロセス中に2つの像のサイズを相関
するのに楕円の面積を使用することができる。皮膚、衣服又は手術用の外衣に貼
られた種々の形状のホイルのような人為的なマーカーも、同じ目的を果たす。
3つ以上の異なる像形成様式を使用して複合像を作成し、これら像の1つが、
他の2つの像の基準マーカーをマッチングするための「リンク」像として働くよ
うにすることができる。例えば、脳の前交連及び後交連をMRI及びCTの両方
において見ることができる。従って、これらの共通の参照点は、2つの完全に別
々の像座標系を互いに関連させることができる。従って、「従動像」は、確立さ
れた手段(ケリー著の第209−225ページ)によって既に整列された多数の
様式により得られたデータの複合体であってもよいし、ここに開示する方法によ
って互いに又は先導像に順次に整列される一連の個別の従動像であってもよい。
このように、表面ビデオカメラは、MR座標リンクを介してCTと相関させるこ
とができる。
更に別の実施形態においては、本発明の技術を用いて手術用の器具が追跡され
て、先導像及び/又は従動像と共に表示されてもよい。例えば、器具の像は、ビ
デオカメラ又は透視法を用いて得ることができる。器具の寸法が分かっている場
合には、たとえ器具の一部分がビデオカメラ又は透視法によって実際に見ること
ができなくても、器具の像を3次元スペースに関連させ、そして患者の先導像及
び/又は従動像に対して表示することができる。これが可能となるのは、身体の
基準特徴と同様に、器具は、一般的に、それらを見たときに特徴点となる独特の
見掛けを有しているからである。器具を追跡する間に、リアルタイムの像形成様
式を先導像又は従動像として使用することができる。器具の移動は、医師及び患
者の位置とは独立して生じるので、器具追跡タスクは、個別のコンピュータ又は
個別のプロセッサを、患者を追跡するコンピュータ又はプロセッサと並列に動作
させることにより、患者追跡システムとは独立して実行されるのが好ましい。両
コンピュータは、もちろん、同じビデオ先導像から入力を導出することができ、
そしてそれらの表示は、単一フィールド表示へと合成されるのが好ましい。或い
は又、器具は、公知の電磁、音波又は機械的な移動検出システムによって追跡さ
れてもよい。このような方法の幾つかが、ケリー、P.J.氏等の「定位神経外
科手術のコンピュータ」、第353−354ページ(バックウェル・サイエンテ
ィフィック・パブリケーション、1992年)に説明されている。
以上、本発明は、最も実用的で且つ好ましい実施形態について図示して説明し
た。しかしながら、本発明の範囲内で種々の変更がなされ得ることは当業者に明
らかであろう。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,DE,
DK,ES,FR,GB,GR,IE,IT,LU,M
C,NL,PT,SE),CA,JP
Claims (1)
- 【特許請求の範囲】 1.物体の像を得て表示する方法において、 (1)第1の像形成様式を経て物体の従動像ライブラリーを得; (2)先導視野に沿って第2の像形成様式を経て物体のリアルタイム先導像を得 ; (3)デジタル像分析により上記従動像ライブラリーに対して上記リアルタイム 先導像をレファレンスして、先導視野に対応する従動像視線を識別し; (4)従動像を、上記リアルタイム先導像のスケール、回転及び位置に対応する ように変換し;そして (5)その変換された従動像を表示するという段階を備え、上記のレファレンス 、変換及び表示段階は、上記リアルタイム先導像を得る段階の後に実質的にリア ルタイムで行われることを特徴とする方法。 2.上記変換された従動像を表示段階の前に選択された深さに切断する段階を更 に備えた請求項1に記載の方法。 3.上記表示段階は、上記リアルタイム先導像及び従動像から複合像を形成しそ してその複合像を表示する段階を含む請求項1に記載の方法。 4.上記識別段階は、上記リアルタイム先導像及び従動像を第1及び第2組のサ ブ物体にセグメント化する段階を含む請求項1に記載の方法。 5.上記識別段階は、上記サブ物体を分類する段階を更に備えた請求項4に記載 の方法。 6.先導像をリアルタイムで得る段階の前に、 上記第2の像形成様式により得られる先導像ライブラリーを設け、そして デジタル像分析により上記従動像ライブラリーに対して先導像ライブラリー をレファレンスして、従動像視線を先導像視線と相互参照するという段階を更に 備えた請求項1に記載の方法。 7.定位フレームを使用して上記従動像ライブラリー及び先導像ライブラリーを 得、先導像ライブラリーをレファレンスする上記段階は、上記定位フレームによ り与えられる視線情報を使用することを含む請求項6に記載の方法。 8.上記従動像ライブラリーに対してリアルタイム先導像をレファレンスする上 記段階は、デジタル像分析を使用して、リアルタイム先導像を先導像ライブラリ ーの先導像と相関させることを含む請求項6に記載の方法。 9.全ての段階をリアルタイムで実行する請求項1に記載の方法。 10.上記表示段階は、定位ディスプレイを使用することを含む請求項1に記載の 方法。 11.物体の像を得て表示する方法において、 (1)第1の像形成様式を経て物体の従動像ライブラリーを得; (2)第2の像形成様式を経て得られる先導像ライブラリーを設け; (3)デジタル像分析により先導像ライブラリーを上記従動像ライブラリーと比 較して、従動像視線を先導像視線と相互参照し; (4)先導視野に沿って第2の像形成様式を経てリアルタイムで物体の先導像を 得、先導像は、あるスケール、回転及び位置を有し; (5)上記リアルタイム先導像を先導像ライブラリーと比較して、先導視野に対 応する従動像視線を識別し; (6)上記従動像を、上記先導像により表されたスケール、回転及び位置に対応 するように変換し;そして (7)その変換された従動像を表示するという段階を備え、上記の比較、変換及 び表示段階は、上記先導像をリアルタイムで得る段階の後に実質的にリアルタイ ムで行われることを特徴とする方法。 12.上記変換された従動像を表示段階の前に選択された深さに切断する段階を更 に備えた請求項11に記載の方法。 13.上記先導像ライブラリーからの先導像を従動像ライブラリーの従動像と比較 する上記段階は、デジタル像分析の使用を含む請求項11に記載の方法。 14.上記先導像ライブラリーからの先導像を従動像ライブラリーの従動像と比較 する上記段階は、定位フレームの使用を含む請求項11に記載の方法。 15.従動像ライブラリーと、 先導像形成装置と、 上記先導像形成装置からの像を上記従動像ライブラリーからの従動像とリア ルタイムで相互参照するための処理手段と、 従動像を表示する手段と、 を備えたことを特徴とする像形成装置。 16.従動像を切断すべき深さを選択するための深さ制御器を更に備えた請求項1 5に記載の装置。 17.先導像ライブラリーを更に備えた請求項15に記載の装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/188,189 US5531227A (en) | 1994-01-28 | 1994-01-28 | Imaging device and method |
US08/188,189 | 1994-01-28 | ||
US37449595A | 1995-01-18 | 1995-01-18 | |
US08/374,495 | 1995-01-18 | ||
PCT/US1995/001006 WO1995020343A1 (en) | 1994-01-28 | 1995-01-27 | Imaging device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09508994A true JPH09508994A (ja) | 1997-09-09 |
Family
ID=26883823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7520148A Pending JPH09508994A (ja) | 1994-01-28 | 1995-01-27 | 像形成装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6351573B1 (ja) |
EP (1) | EP0741540B1 (ja) |
JP (1) | JPH09508994A (ja) |
DE (1) | DE69532916D1 (ja) |
WO (1) | WO1995020343A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354341A (ja) * | 2001-05-24 | 2002-12-06 | Shimadzu Corp | ディジタルサブトラクション装置 |
JP2008541860A (ja) * | 2005-05-23 | 2008-11-27 | ザ ペン ステイト リサーチ ファンデーション | 連続的にガイドされた内視鏡検査法への適用を伴う高速2d−3d画像重ね合わせ方法 |
JP4721693B2 (ja) * | 2004-12-09 | 2011-07-13 | 富士フイルムRiファーマ株式会社 | 頭蓋内容積および局所脳構造物解析プログラム、記録媒体および頭蓋内容積および局所脳構造物解析方法 |
Families Citing this family (133)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6081577A (en) * | 1998-07-24 | 2000-06-27 | Wake Forest University | Method and system for creating task-dependent three-dimensional images |
US6775404B1 (en) * | 1999-03-18 | 2004-08-10 | University Of Washington | Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor |
US6941323B1 (en) | 1999-08-09 | 2005-09-06 | Almen Laboratories, Inc. | System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images |
US6558623B1 (en) * | 2000-07-06 | 2003-05-06 | Robodesign International, Inc. | Microarray dispensing with real-time verification and inspection |
US6972775B1 (en) * | 1999-11-01 | 2005-12-06 | Medical Learning Company, Inc. | Morphing patient features using an offset |
US6544178B1 (en) * | 1999-11-05 | 2003-04-08 | Volumetrics Medical Imaging | Methods and systems for volume rendering using ultrasound data |
US6553248B1 (en) * | 1999-11-09 | 2003-04-22 | Koninklijke Philips Electronics, N.V. | Computing by anticipation for nuclear medicine imaging |
US6640132B1 (en) * | 1999-11-17 | 2003-10-28 | Hypermed, Inc. | Forensic hyperspectral apparatus and method |
US6674484B1 (en) * | 2000-01-10 | 2004-01-06 | Koninklijke Philips Electronics N.V. | Video sample rate conversion to achieve 3-D effects |
US6628982B1 (en) * | 2000-03-30 | 2003-09-30 | The Regents Of The University Of Michigan | Internal marker device for identification of biological substances |
US7672712B2 (en) * | 2000-03-30 | 2010-03-02 | The Regents Of The University Of Michigan | Internal marker device for identification of biological substances |
US7025933B2 (en) * | 2000-07-06 | 2006-04-11 | Robodesign International, Inc. | Microarray dispensing with real-time verification and inspection |
EP1303215A1 (en) * | 2000-07-10 | 2003-04-23 | Koninklijke Philips Electronics N.V. | Geometry matching for imaging medical apparatus |
US6891518B2 (en) * | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
WO2002029700A2 (en) * | 2000-10-05 | 2002-04-11 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
US6740530B1 (en) * | 2000-11-22 | 2004-05-25 | Xerox Corporation | Testing method and configurations for multi-ejector system |
DE10108947B4 (de) * | 2001-02-23 | 2005-05-19 | Siemens Ag | Verfahren und Vorrichtung zum Abgleichen von wenigstens einem visualisierten medizinischen Messergebnis mit wenigstens einem weiteren, eine räumliche Information enthaltenden Datensatz |
US20020165839A1 (en) * | 2001-03-14 | 2002-11-07 | Taylor Kevin M. | Segmentation and construction of segmentation classifiers |
US6919867B2 (en) * | 2001-03-29 | 2005-07-19 | Siemens Corporate Research, Inc. | Method and apparatus for augmented reality visualization |
FR2824164B1 (fr) | 2001-04-26 | 2003-08-15 | Ge Med Sys Global Tech Co Llc | Systeme d'imagerie medicale a affichage d'une representation tridimensionnelle |
US6943036B2 (en) * | 2001-04-30 | 2005-09-13 | Agilent Technologies, Inc. | Error detection in chemical array fabrication |
AU2002336552A1 (en) * | 2001-09-17 | 2003-04-01 | Duke University | Methods of providing medical information and related systems and computer program products |
JP2003196640A (ja) * | 2001-12-14 | 2003-07-11 | Ge Medical Systems Global Technology Co Llc | 画像処理方法および装置 |
US7634129B2 (en) * | 2001-12-28 | 2009-12-15 | Rudolph Technologies, Inc. | Dual-axis scanning system and method |
MXPA04011893A (es) | 2002-05-30 | 2005-03-31 | Visx Inc | Rastreo de la posicion y orientacion torsional del ojo. |
US8484551B2 (en) * | 2002-09-05 | 2013-07-09 | Adobe Systems Incorporated | Creating input fields in electronic documents |
ATE258031T1 (de) * | 2002-09-12 | 2004-02-15 | Brainlab Ag | Röntgenbildunterstützte navigation mit ursprünglichen, zweidimensionalen röntgenbildern |
US7251522B2 (en) * | 2002-09-12 | 2007-07-31 | Brainlab Ag | X-ray image-assisted navigation using original, two-dimensional x-ray images |
JP4191449B2 (ja) * | 2002-09-19 | 2008-12-03 | 株式会社トプコン | 画像キャリブレーション方法、画像キャリブレーション処理装置、画像キャリブレーション処理端末 |
AU2003278829A1 (en) * | 2002-09-19 | 2004-04-08 | Naviscan Pet Systems, Inc. | Method and apparatus for cross-modality comparisons and correlation |
US7346199B2 (en) * | 2002-11-30 | 2008-03-18 | Intuitive Software, Inc. | Anatomic triangulation |
US7648509B2 (en) | 2003-03-10 | 2010-01-19 | Ilion Medical Llc | Sacroiliac joint immobilization |
DE60301053T2 (de) * | 2003-04-11 | 2006-06-01 | MedCom Gesellschaft für medizinische Bildverarbeitung mbH | Kombinieren von ersten und zweiten Bilddaten eines Objekts |
US7458683B2 (en) * | 2003-06-16 | 2008-12-02 | Amo Manufacturing Usa, Llc | Methods and devices for registering optical measurement datasets of an optical system |
US20050054910A1 (en) * | 2003-07-14 | 2005-03-10 | Sunnybrook And Women's College Health Sciences Centre | Optical image-based position tracking for magnetic resonance imaging applications |
US20050031213A1 (en) * | 2003-07-22 | 2005-02-10 | Jean-Francois Rotge | Acquisition method and apparatus for generating m-degree forms in a n-dimension space |
US20050033157A1 (en) * | 2003-07-25 | 2005-02-10 | Klein Dean A. | Multi-modality marking material and method |
US6937751B2 (en) * | 2003-07-30 | 2005-08-30 | Radiological Imaging Technology, Inc. | System and method for aligning images |
US8150495B2 (en) | 2003-08-11 | 2012-04-03 | Veran Medical Technologies, Inc. | Bodily sealants and methods and apparatus for image-guided delivery of same |
US7398116B2 (en) * | 2003-08-11 | 2008-07-08 | Veran Medical Technologies, Inc. | Methods, apparatuses, and systems useful in conducting image guided interventions |
US20050219558A1 (en) * | 2003-12-17 | 2005-10-06 | Zhengyuan Wang | Image registration using the perspective of the image rotation |
WO2005062259A1 (en) | 2003-12-19 | 2005-07-07 | Philips Intellectual Property & Standards Gmbh | Method for the computer-assisted visualization of diagnostic image data |
US7035371B2 (en) * | 2004-03-22 | 2006-04-25 | Siemens Aktiengesellschaft | Method and device for medical imaging |
US7520848B2 (en) * | 2004-04-09 | 2009-04-21 | The Board Of Trustees Of The Leland Stanford Junior University | Robotic apparatus for targeting and producing deep, focused transcranial magnetic stimulation |
US8052591B2 (en) * | 2006-05-05 | 2011-11-08 | The Board Of Trustees Of The Leland Stanford Junior University | Trajectory-based deep-brain stereotactic transcranial magnetic stimulation |
US8265354B2 (en) * | 2004-08-24 | 2012-09-11 | Siemens Medical Solutions Usa, Inc. | Feature-based composing for 3D MR angiography images |
DE602004015796D1 (de) * | 2004-10-01 | 2008-09-25 | Medcom Ges Fuer Medizinische B | Registrierung eines Ultraschallbildes mit einem Bild aus einem 3D-Scan, beispielsweise von einer Computertomographie (CT) oder Magnetspintomographie (MR) |
DE102004049227B4 (de) * | 2004-10-08 | 2007-03-01 | Yxlon International Security Gmbh | Verfahren zur Bestimmung der Lageänderung eines Objekts in einem Gepäckstück |
EP1810220A4 (en) * | 2004-11-03 | 2008-04-30 | Tyzx Inc | INTEGRATED IMAGE PROCESSOR |
US20060184003A1 (en) * | 2005-02-03 | 2006-08-17 | Lewin Jonathan S | Intra-procedurally determining the position of an internal anatomical target location using an externally measurable parameter |
US20060176242A1 (en) * | 2005-02-08 | 2006-08-10 | Blue Belt Technologies, Inc. | Augmented reality device and method |
DE602006021274D1 (de) * | 2005-02-09 | 2011-05-26 | Hitachi Medical Corp | Ultraschallvorrichtung und ultraschallverfahren |
US7860301B2 (en) * | 2005-02-11 | 2010-12-28 | Macdonald Dettwiler And Associates Inc. | 3D imaging system |
US20060256397A1 (en) * | 2005-05-12 | 2006-11-16 | Lexmark International, Inc. | Method and system for combining images |
US7756563B2 (en) * | 2005-05-23 | 2010-07-13 | The Penn State Research Foundation | Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy |
US20070066881A1 (en) | 2005-09-13 | 2007-03-22 | Edwards Jerome R | Apparatus and method for image guided accuracy verification |
EP1924198B1 (en) | 2005-09-13 | 2019-04-03 | Veran Medical Technologies, Inc. | Apparatus for image guided accuracy verification |
EP2062530A3 (en) | 2005-11-29 | 2009-08-12 | Surgi-Vision, Inc. | MRI-guided localization and/or lead placement systems, related methods, devices and computer program |
JP5059788B2 (ja) * | 2006-03-01 | 2012-10-31 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | 対象物の複数ビューをリアルタイムビデオ出力で得る方法及びシステム |
US20070271122A1 (en) * | 2006-05-02 | 2007-11-22 | Siemens Medical Solutions Usa, Inc. | Patient Video and Audio Monitoring System |
US9352167B2 (en) | 2006-05-05 | 2016-05-31 | Rio Grande Neurosciences, Inc. | Enhanced spatial summation for deep-brain transcranial magnetic stimulation |
US8267850B2 (en) * | 2007-11-27 | 2012-09-18 | Cervel Neurotech, Inc. | Transcranial magnet stimulation of deep brain targets |
US7467007B2 (en) * | 2006-05-16 | 2008-12-16 | Siemens Medical Solutions Usa, Inc. | Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images |
US8560047B2 (en) | 2006-06-16 | 2013-10-15 | Board Of Regents Of The University Of Nebraska | Method and apparatus for computer aided surgery |
GB0616293D0 (en) | 2006-08-16 | 2006-09-27 | Imp Innovations Ltd | Method of image processing |
US8160677B2 (en) | 2006-09-08 | 2012-04-17 | Medtronic, Inc. | Method for identification of anatomical landmarks |
US8160676B2 (en) | 2006-09-08 | 2012-04-17 | Medtronic, Inc. | Method for planning a surgical procedure |
US8150497B2 (en) | 2006-09-08 | 2012-04-03 | Medtronic, Inc. | System for navigating a planned procedure within a body |
US8150498B2 (en) | 2006-09-08 | 2012-04-03 | Medtronic, Inc. | System for identification of anatomical landmarks |
US7940970B2 (en) * | 2006-10-25 | 2011-05-10 | Rcadia Medical Imaging, Ltd | Method and system for automatic quality control used in computerized analysis of CT angiography |
US7940977B2 (en) * | 2006-10-25 | 2011-05-10 | Rcadia Medical Imaging Ltd. | Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies |
US7860283B2 (en) | 2006-10-25 | 2010-12-28 | Rcadia Medical Imaging Ltd. | Method and system for the presentation of blood vessel structures and identified pathologies |
US7983459B2 (en) | 2006-10-25 | 2011-07-19 | Rcadia Medical Imaging Ltd. | Creating a blood vessel tree from imaging data |
US7873194B2 (en) * | 2006-10-25 | 2011-01-18 | Rcadia Medical Imaging Ltd. | Method and system for automatic analysis of blood vessel structures and pathologies in support of a triple rule-out procedure |
US8150101B2 (en) * | 2006-11-13 | 2012-04-03 | Cybernet Systems Corporation | Orientation invariant object identification using model-based image processing |
EP1925256A1 (de) | 2006-11-24 | 2008-05-28 | BrainLAB AG | Verfahren und Vorrichtung zur Registrierung einer anatomischen Struktur mit Markern |
US20090156895A1 (en) * | 2007-01-31 | 2009-06-18 | The Penn State Research Foundation | Precise endoscopic planning and visualization |
US8672836B2 (en) * | 2007-01-31 | 2014-03-18 | The Penn State Research Foundation | Method and apparatus for continuous guidance of endoscopy |
US9037215B2 (en) | 2007-01-31 | 2015-05-19 | The Penn State Research Foundation | Methods and apparatus for 3D route planning through hollow organs |
US8131035B2 (en) * | 2007-02-05 | 2012-03-06 | Siemens Healthcare Diagnostics Inc. | Cell analysis using isoperimetric graph partitioning |
US8428690B2 (en) | 2007-05-16 | 2013-04-23 | General Electric Company | Intracardiac echocardiography image reconstruction in combination with position tracking system |
US8989842B2 (en) | 2007-05-16 | 2015-03-24 | General Electric Company | System and method to register a tracking system with intracardiac echocardiography (ICE) imaging system |
US8527032B2 (en) | 2007-05-16 | 2013-09-03 | General Electric Company | Imaging system and method of delivery of an instrument to an imaged subject |
US8364242B2 (en) | 2007-05-17 | 2013-01-29 | General Electric Company | System and method of combining ultrasound image acquisition with fluoroscopic image acquisition |
US20090024174A1 (en) * | 2007-07-17 | 2009-01-22 | Stark John G | Bone screws and particular applications to sacroiliac joint fusion |
US20100256436A1 (en) * | 2007-07-31 | 2010-10-07 | Partsch Michael J | Device and method for treating hypertension via non-invasive neuromodulation |
WO2009026386A1 (en) * | 2007-08-20 | 2009-02-26 | Neostim, Inc. | Firing patterns for deep brain transcranial magnetic stimulation |
WO2009055634A1 (en) * | 2007-10-24 | 2009-04-30 | Neostim Inc. | Intra-session control of transcranial magnetic stimulation |
US20100185042A1 (en) * | 2007-08-05 | 2010-07-22 | Schneider M Bret | Control and coordination of transcranial magnetic stimulation electromagnets for modulation of deep brain targets |
US8956274B2 (en) * | 2007-08-05 | 2015-02-17 | Cervel Neurotech, Inc. | Transcranial magnetic stimulation field shaping |
WO2009020938A1 (en) * | 2007-08-05 | 2009-02-12 | Neostim, Inc. | Monophasic multi-coil arrays for trancranial magnetic stimulation |
WO2009023680A1 (en) * | 2007-08-13 | 2009-02-19 | Neostim, Inc. | Gantry and switches for position-based triggering of tms pulses in moving coils |
US20100331602A1 (en) * | 2007-09-09 | 2010-12-30 | Mishelevich David J | Focused magnetic fields |
US8126226B2 (en) * | 2007-09-20 | 2012-02-28 | General Electric Company | System and method to generate a selected visualization of a radiological image of an imaged subject |
US8315689B2 (en) | 2007-09-24 | 2012-11-20 | MRI Interventions, Inc. | MRI surgical systems for real-time visualizations using MRI image data and predefined data of surgical tools |
WO2009049068A1 (en) * | 2007-10-09 | 2009-04-16 | Neostim, Inc. | Display of modeled magnetic fields |
US8090168B2 (en) * | 2007-10-15 | 2012-01-03 | General Electric Company | Method and system for visualizing registered images |
WO2009055780A1 (en) * | 2007-10-26 | 2009-04-30 | Neostim, Inc. | Transcranial magnetic stimulation with protection of magnet-adjacent structures |
US8740912B2 (en) | 2008-02-27 | 2014-06-03 | Ilion Medical Llc | Tools for performing less invasive orthopedic joint procedures |
US8838211B2 (en) * | 2008-04-30 | 2014-09-16 | Board Of Regents, The University Of Texas System | Multi-wavelength diagnostic imager |
US8606344B2 (en) * | 2008-04-30 | 2013-12-10 | Board Of Regents, The University Of Texas System | Integrated patient bed system |
US20090287487A1 (en) * | 2008-05-14 | 2009-11-19 | General Electric Company | Systems and Methods for a Visual Indicator to Track Medical Report Dictation Progress |
US8795148B2 (en) * | 2009-10-26 | 2014-08-05 | Cervel Neurotech, Inc. | Sub-motor-threshold stimulation of deep brain targets using transcranial magnetic stimulation |
US8723628B2 (en) | 2009-01-07 | 2014-05-13 | Cervel Neurotech, Inc. | Shaped coils for transcranial magnetic stimulation |
US8781186B2 (en) | 2010-05-04 | 2014-07-15 | Pathfinder Therapeutics, Inc. | System and method for abdominal surface matching using pseudo-features |
WO2012009603A2 (en) | 2010-07-16 | 2012-01-19 | Cervel Neurotech, Inc. | Transcranial magnetic stimulation for altering susceptibility of tissue to pharmaceuticals and radiation |
US20130303887A1 (en) | 2010-08-20 | 2013-11-14 | Veran Medical Technologies, Inc. | Apparatus and method for four dimensional soft tissue navigation |
EP2510878B1 (de) * | 2011-04-12 | 2014-02-26 | Marcus Abboud | Verfahren zur Generierung einer radiologischen dreidimensionalen digitalen Volumentomographie-Aufnahme eines Patienten-Körperteils |
DE102011007871B4 (de) * | 2011-04-21 | 2017-07-27 | Siemens Healthcare Gmbh | Verfahren zur Erfassung von MR-Bilddaten sowie entsprechende kombinierte MR/ET-Einrichtung |
US9498231B2 (en) | 2011-06-27 | 2016-11-22 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
CN103764061B (zh) | 2011-06-27 | 2017-03-08 | 内布拉斯加大学评议会 | 工具承载的追踪***和计算机辅助外科方法 |
US11911117B2 (en) | 2011-06-27 | 2024-02-27 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
US8879801B2 (en) * | 2011-10-03 | 2014-11-04 | Qualcomm Incorporated | Image-based head position tracking method and system |
US20130094744A1 (en) * | 2011-10-13 | 2013-04-18 | Shimadzu Corporation | Image processing device |
KR101305959B1 (ko) * | 2011-12-27 | 2013-09-12 | 전자부품연구원 | 템플릿을 이용한 영상 기반 상황 인식 방법 및 이를 위한 장치 |
EP2816966B1 (en) | 2012-02-22 | 2023-10-25 | Veran Medical Technologies, Inc. | Steerable surgical catheter comprising a biopsy device at the distal end portion thereof |
JP6219396B2 (ja) | 2012-10-12 | 2017-10-25 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 分岐した解剖学的構造における医療デバイスの位置決定 |
US9044863B2 (en) * | 2013-02-06 | 2015-06-02 | Steelcase Inc. | Polarized enhanced confidentiality in mobile camera applications |
US10105149B2 (en) | 2013-03-15 | 2018-10-23 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
US10088658B2 (en) * | 2013-03-18 | 2018-10-02 | General Electric Company | Referencing in multi-acquisition slide imaging |
JP5993515B2 (ja) * | 2013-09-27 | 2016-09-14 | オリンパス株式会社 | 内視鏡システム |
US20150305612A1 (en) | 2014-04-23 | 2015-10-29 | Mark Hunter | Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter |
US20150305650A1 (en) | 2014-04-23 | 2015-10-29 | Mark Hunter | Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue |
US9633431B2 (en) | 2014-07-02 | 2017-04-25 | Covidien Lp | Fluoroscopic pose estimation |
US11172895B2 (en) | 2015-12-07 | 2021-11-16 | Covidien Lp | Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated |
EP3391284B1 (en) * | 2015-12-18 | 2024-04-17 | The Regents of The University of California | Interpretation and quantification of emergency features on head computed tomography |
IL245339A (en) * | 2016-04-21 | 2017-10-31 | Rani Ben Yishai | Method and system for verification of registration |
CN107223082B (zh) * | 2017-04-21 | 2020-05-12 | 深圳前海达闼云端智能科技有限公司 | 一种机器人控制方法、机器人装置及机器人设备 |
US10905497B2 (en) | 2017-04-21 | 2021-02-02 | Clearpoint Neuro, Inc. | Surgical navigation systems |
US10726537B2 (en) * | 2018-08-29 | 2020-07-28 | Horst Eger | Image acquisition for meat grading |
EP3864629A4 (en) | 2018-10-08 | 2022-07-27 | McGinley Education Innovations, LLC | AUGMENTED REALITY BASED PLAYBACK OF ULTRASONOGRAPHIC IMAGES FOR SURGICAL ASSISTANT |
US10957043B2 (en) * | 2019-02-28 | 2021-03-23 | Endosoftllc | AI systems for detecting and sizing lesions |
US11367212B2 (en) * | 2019-11-21 | 2022-06-21 | Ford Global Technologies, Llc | Vehicle pose detection with fiducial marker |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4341220A (en) * | 1979-04-13 | 1982-07-27 | Pfizer Inc. | Stereotactic surgery apparatus and method |
US4791934A (en) | 1986-08-07 | 1988-12-20 | Picker International, Inc. | Computer tomography assisted stereotactic surgery system and method |
US5099846A (en) * | 1988-12-23 | 1992-03-31 | Hardy Tyrone L | Method and apparatus for video presentation from a variety of scanner imaging sources |
US5291889A (en) | 1991-05-23 | 1994-03-08 | Vanguard Imaging Ltd. | Apparatus and method for spatially positioning images |
US5261404A (en) * | 1991-07-08 | 1993-11-16 | Mick Peter R | Three-dimensional mammal anatomy imaging system and method |
US5283837A (en) * | 1991-08-27 | 1994-02-01 | Picker International, Inc. | Accurate estimation of surface normals in 3-D data sets |
US5337231A (en) * | 1992-03-31 | 1994-08-09 | General Electric Company | View to view image correction for object motion with truncated data |
US5361307A (en) * | 1993-03-25 | 1994-11-01 | General Electric Company | Correlation methods of identifying defects in imaging devices |
US5406479A (en) * | 1993-12-20 | 1995-04-11 | Imatron, Inc. | Method for rebinning and for correcting cone beam error in a fan beam computed tomographic scanner system |
US5531520A (en) | 1994-09-01 | 1996-07-02 | Massachusetts Institute Of Technology | System and method of registration of three-dimensional data sets including anatomical body data |
-
1995
- 1995-01-27 WO PCT/US1995/001006 patent/WO1995020343A1/en active IP Right Grant
- 1995-01-27 EP EP95908678A patent/EP0741540B1/en not_active Expired - Lifetime
- 1995-01-27 JP JP7520148A patent/JPH09508994A/ja active Pending
- 1995-01-27 DE DE69532916T patent/DE69532916D1/de not_active Expired - Lifetime
-
1996
- 1996-10-07 US US08/725,639 patent/US6351573B1/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354341A (ja) * | 2001-05-24 | 2002-12-06 | Shimadzu Corp | ディジタルサブトラクション装置 |
JP4639526B2 (ja) * | 2001-05-24 | 2011-02-23 | 株式会社島津製作所 | ディジタルサブトラクション装置 |
JP4721693B2 (ja) * | 2004-12-09 | 2011-07-13 | 富士フイルムRiファーマ株式会社 | 頭蓋内容積および局所脳構造物解析プログラム、記録媒体および頭蓋内容積および局所脳構造物解析方法 |
JP2008541860A (ja) * | 2005-05-23 | 2008-11-27 | ザ ペン ステイト リサーチ ファンデーション | 連続的にガイドされた内視鏡検査法への適用を伴う高速2d−3d画像重ね合わせ方法 |
Also Published As
Publication number | Publication date |
---|---|
EP0741540B1 (en) | 2004-04-21 |
DE69532916D1 (de) | 2004-05-27 |
US6351573B1 (en) | 2002-02-26 |
EP0741540A1 (en) | 1996-11-13 |
WO1995020343A1 (en) | 1995-08-03 |
EP0741540A4 (en) | 1998-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH09508994A (ja) | 像形成装置及び方法 | |
US5531227A (en) | Imaging device and method | |
CN103371870B (zh) | 一种基于多模影像的外科手术导航*** | |
Colchester et al. | Development and preliminary evaluation of VISLAN, a surgical planning and guidance system using intra-operative video imaging | |
EP3789965B1 (en) | Method for controlling a display, computer program and mixed reality display device | |
EP1011424A1 (en) | Imaging device and method | |
CN114586063A (zh) | 使用增强现实的医疗程序 | |
US8704827B2 (en) | Cumulative buffering for surface imaging | |
EP3328305B1 (en) | Microscope tracking based on video analysis | |
EP3110335B1 (en) | Zone visualization for ultrasound-guided procedures | |
Dai et al. | Neurosurgical craniotomy localization using interactive 3D lesion mapping for image-guided neurosurgery | |
Chen et al. | Automated global optimization surface-matching registration method for image-to-patient spatial registration in an image-guided neurosurgery system | |
Chen et al. | The research and practice of medical image enhancement and 3D reconstruction system | |
JP6476125B2 (ja) | 画像処理装置、及び手術顕微鏡システム | |
Karner et al. | Single-shot deep volumetric regression for mobile medical augmented reality | |
US11869216B2 (en) | Registration of an anatomical body part by detecting a finger pose | |
Krapichler et al. | A human-machine interface for medical image analysis and visualization in virtual environments | |
CN115176283A (zh) | 增强现实定位医学视图 | |
Sun | Image guided interaction in minimally invasive surgery | |
Kirmizibayrak | Interactive volume visualization and editing methods for surgical applications | |
Prakoonwit | Towards multiple 3d bone surface identification and reconstruction using few 2d x-ray images for intraoperative applications | |
WO2021213450A1 (en) | Method and system to augment medical scan image information on extended reality image | |
Wu et al. | Explore on Doctor's Head Orientation Tracking for Patient's Body Surface Projection Under Complex Illumination Conditions | |
Chen et al. | The research and practice of medical image 3D reconstruction platform | |
Maitland et al. | A Video Based Tracker for use in Computer Aided Surgery. |