JP5243754B2 - 画像データの位置合わせ - Google Patents

画像データの位置合わせ Download PDF

Info

Publication number
JP5243754B2
JP5243754B2 JP2007215482A JP2007215482A JP5243754B2 JP 5243754 B2 JP5243754 B2 JP 5243754B2 JP 2007215482 A JP2007215482 A JP 2007215482A JP 2007215482 A JP2007215482 A JP 2007215482A JP 5243754 B2 JP5243754 B2 JP 5243754B2
Authority
JP
Japan
Prior art keywords
image data
image
posture
degree
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007215482A
Other languages
English (en)
Other versions
JP2008055156A (ja
Inventor
シンドラー フロリアン
ハイメール マーチン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brainlab AG
Original Assignee
Brainlab AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brainlab AG filed Critical Brainlab AG
Publication of JP2008055156A publication Critical patent/JP2008055156A/ja
Application granted granted Critical
Publication of JP5243754B2 publication Critical patent/JP5243754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10124Digitally reconstructed radiograph [DRR]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/034Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は位置合わせシステムに関するものであり、特には、三次元空間で外科手術対象の対象物と空間表示を位置合わせする装置に関する。
コンピュータ断層法(CT)や磁気共鳴影像法(MRI)などの、今日利用可能な画像処理技術は、外科手術の術中に行われる手法としては適していない。しかし、患者の体もしくは体の部分の空間表示は、例えばコンピュータ支援外科手術(CAS)には不可欠のものである。
そのため、通常は手術介入を行う前にCTやMRIによって得られた連続断層画像からなる空間表示を得ることになる。
患者の体もしくは対象となる部位は、術前に得たそれらの空間表示に対し、術中に位置合わせが行われる必要がある。
とりわけ、対象物、即ち患者の体および患者の体の部位をマッチングさせたり位置合わせを行うために、術前に取得した対象物の空間表示に対して二次元の画像処理技術が適用される。
特許文献1では、実際の患者の位置と患者の体の部位の空間表示からなる診断データは、放射線画像装置の特定の空間位置や方向角度から必要な体の部位の放射線による二次元参照画像を取得することによって、位置合わせされる。その後、陰影グラフィック画像合成を用いて、対象とする体の部位の空間表示からなる診察データを基に、合成類似陰影グラフィック画像を合成する。合成画像は参照画像と同じ空間位置や方向角度で取得される。合成カメラの空間位置や方向角度を調節することによって、重ね合わせされた参照画像と合成画像の最適マッチングが実現される。合成カメラの空間位置や方向角度が調節され、それに従い対象とする体の部位の空間表示での姿勢が調節され、これにより患者の実際の位置にあわせられる。
非特許文献1において、Pennyらは、術前に得られた対象物の空間表示を形成する三次元CTスキャンデータを、術中に得られた二次元X線透視画像に対して位置合わせを行う方法について述べている。CTの体積に光線を照射し、光線方向に沿ったCTスキャンの体積要素(ボクセル)から得られた値を積分し、それらを画像面に投影することによりデジタル再構成放射線画像(DRRs)が得られる。これは放射線写真に類似したものとなる。Pennyらはさらに、例として、画像ペアの正規化された相互相関、勾配フィルター画像ペアの正規化相互相関、さらに画像ペア間の差分画像のエントロピー評価になどに基づいた、対象物の参照透視画像と対象物の空間表示のデジタル再構成放射線画像(DRRs)との間の様々な種類の類似度について述べている。
特許文献2では、デジタル再構成放射線画像を用いずに、二次元透視画像で検出される輪郭線を用いたバンドル調整方法を用いて、手術対象組織に対しその二次元蛍光透視像と三次元モデルとを位置合わせするシステムについて言及している。
非特許文献2において、Russakoffらは、三次元コンピュータ断層(CT)を1つないし複数の二次元X線投影画像に対して位置合わせするために、付加的に基準マーカーを使用することを提案している。この方法ではマーカーを患者の体内に埋め込む必要がある。埋め込まれた基準マーカーは、位置合わせのために、追加的なペア点、すなわち対応点として用いられる。位置合わせのための最適化尺度として、画像類似度や点距離尺度が加法的に組み合わせられる。しかしながら、最適化の尺度としての画像類似度および距離値の加法的組み合わせは、X線投影画像における諧調レベルのスケーリングに対して独立ではない。このように、Russakaoffらによる位置合わせ手法は画質に依存する。
例えば骨盤に対し通常の二次元/三次元位置合わせを行う場合、多くの場合2つの蛍光透視画像が得られる。既存の技術では、恥骨の位置合わせにおける小さな方向の誤差が、臼蓋窩や二分脊椎の領域での重大な誤差に繋がる可能性がある。例えば、腰部の手術に対し適したものとするためには、特にこうした領域での正確な位置合わせが必要となる。
米国特許第4791934号特許公報(Brunnett) 米国特許第5951475(Gueziec et. al) "A Comparison of Similarity Measures for Use in 2−D−3−D Medical Image Registration",IEEE Transactions on Medical Imaging, Vol. 17, No. 4,August 1998 "Intensity−Based 2D−3D Spine Image Registration Incorporating one Fiducial Marker",MICCAI 2003,pp 287−294,2003
本発明の目的は、手術間の位置合わせ手法や、対象物や対象物の一部をそれらの空間表示に対し位置合わせするシステムの精度の向上である。
この目的は独立請求項に記載の特徴要件を包含する装置および方法により実現することが可能である。好ましい態様は従属請求項に記載されている。
手術室における患者の実際の位置データを術前に得られた三次元の患者データに対し位置合わせする、本発明のシステムおよび方法は、位置合わせの精度向上をはかるためにこれまで用いられてきた基準点マーカーを全く不要とする。基準点マーカーは、患者の骨部分に埋め込まれる金属エレメントであり、外科的な埋め込みが必要となる。
従来の装、方法とは対照的に、本発明ではこうしたマーカーの埋め込みを必要としない。
本発明の方法では、付加的な制約を使用し、手術室における対象物をその対象物の空間表示データへ位置合わせする際の精度やロバスト性を大幅に向上することが可能である。
本発明に関わる位置合わせに対する付加的制約は、操作環境に関して三次元座標系、好ましくはカーテシアン座標系、において骨領域の表面における少なくとも1点の位置を取得することによって得られる。骨領域は、例えば、二分脊椎や臼蓋窩であってもよい。このような領域は比較的大きな範囲におよぶため、回転誤差が大幅に減少する。
本発明方法では、特にCT−蛍光透視画像において、表面の情報を二次元−三次元の位置合わせ法に統合する。対象物は得られた二次元画像データおよび三次元画像データ(例えば蛍光透視画像や三次元CTスキャン)および表面上の一つないし複数の点により位置合わせされる。
位置合わせされる対象物は、診断、治療、臨床もしくは自動での検査あるいは治療における、患者、患者の体の一部である。
本発明における方法は、例えば二次元−三次元位置あわせ法(特にCT−蛍光透視画像)において画像データに基づいて、表面の情報の位置合わせ方法を統合するものである。対象物は手術中に得られた二次元画像データを、三次元画像データ(例えば蛍光透視画像や三次元CTスキャン)に組み込み、表面上の一つないし複数の点により位置合わせされる。
例として、患者の骨領域の表面点を取得する前に、患者の体は固定化される。あるいは、患者の相対的な動きや相対位置変位は、位置検出システムやナビゲーションシステムにより取得可能である。こうして、本発明の位置合わせ方法およびそのシステムでは、患者を表す空間表示データの位置や方向(姿勢)を調節することにより、これらの相対的位置変位が考慮される。
本発明の装置は、対象物またはその対象物の一部(対象物と称する)と、対象物表示姿勢すなわち操作空間における位置及び方向からなる姿勢での対象物の空間表示(以下対象物表示と称する)とを三次元の操作空間において位置合わせするための装置であって、該装置は、
三次元の操作空間での座標系における位置及び方向からなる第一画像姿勢において、その対象物の第一画像データを取得するための第1装置と、
上記第一画像データに対応し、三次元の操作空間での座標系における位置と方向からなる第二画像姿勢において、その対象物表示姿勢における対象物表示からデジタル再構成することによって上記第一画像データに対応する第二画像データを取得するための第2装置と、
第一および第二画像データの間の類似度Sを取得するための第3装置と、
操作空間で、対象物の表面における少なくとも一点の位置を特定するための、位置検出システムまたはナビゲーションシステムまたは追跡システムである第4装置と、
前記少なくとも一点とその対象物表示姿勢における対象物表示の表面との間の距離尺度Dを取得するための第5装置と、
類似度Sおよび距離尺度Dとの組み合わせであり、少なくとも類似度Sに関してスケール不変である重畳度Mを取得するための第6装置と、
対象物表示姿勢を、前記第二画像姿勢に対して異なる姿勢へ変化させるための第7装置と、
第2装置から第7装置でのステップの繰り返し毎に、第6装置から取得可能な重畳度Mが現在の最大値M sup を超えているかどうかを判定し、もし超えている場合には、最適姿勢Pが現在の姿勢に設定され、重畳度の最大値M sup を前記の重畳度Mに更新しながら、繰り返し回数が所定の回数に達したかどうか、または第6装置から取得可能な重畳度Mが既定の閾値を超えたかどうかを判定し、所定回数の繰り返しを完了した後、または重畳度Mが既定の閾値を超えた後、前記のステップの繰り返しを終了するための第8装置と、を含む。
上記の装置を用いて、対象物又はその一部(対象物と称する)と、対象物表示姿勢すなわち操作空間における位置及び方向からなる姿勢での対象物の空間表示(対象物表示と称する)との間の重畳度Mを、三次元操作空間において決定する本発明の方法は、
a)第1装置を用いて三次元の操作空間での座標系における位置及び方向からなる第一画像姿勢において得られる第一画像データと、第2装置を用いて三次元の操作空間での座標系における位置と方向からなる第二画像姿勢において、その対象物表示姿勢における対象物表示からデジタル再構成された上記第一画像データに対応する第二画像データとの間の類似度Sを第3装置を用いて取得すること、
b)第4装置を用いて操作空間において、対象物の表面における少なくとも一点の位置を特定すること、
c)第5装置を用いて操作空間における前記少なくとも一点と、対象物表示姿勢における対象物表示の表面との間の距離尺度Dを取得すること、
を含み、さらに、該方法は第6装置を用いて類似度Sと距離尺度Dとの組み合わせによって、少なくとも類似度Sに関してスケール不変である重畳度Mを取得することを含む。
また、本発明は上記の装置を用いて、対象物またはその対象物の一部(対象物と称する)と、対象物表示姿勢すなわち操作空間における位置や方向からなる姿勢における対象物の空間表示(対象物表示と称する)とを、三次元操作空間において位置合わせする方法であり、該方法は、
a)第1装置を用いて三次元の操作空間での座標系における位置及び方向からなる第一画像姿勢において、その対象物の第一画像データを取得すること、
b)第2装置を用いて三次元の操作空間での座標系における位置と方向からなる第二画像姿勢においてその対象物表示姿勢における対象物表示からデジタル再構成された上記第一画像データに対応する第二画像データを取得すること、
c)第3装置を用いて第一画像データと第二画像データの間の類似度Sを取得すること、
d)第4装置を用いて操作空間において、その対象物の表面上の少なくとも一点の位置を特定すること、
e)第5装置を用いて前記の少なくとも一点と、その対象物表示姿勢における対象物表示の表面との間の距離尺度Dを取得すること、
f)第6装置を用いて類似度Sおよび、少なくとも類似度Sに関してスケール不変な距離尺度Dとの組み合わせにより、重畳度Mを得ること、
g)ステップh)を、ステップb)、c)、e)およびf)の繰り返し毎に、ステップf)で取得可能な重畳度Mが現在の最大値M sup を超えているかどうかを判定し、もし超えている場合には、最適姿勢Pが現在の姿勢に設定され、重畳度の最大値M sup を前記の重畳度Mに更新しながら、繰り返し回数が所定の回数に達したかどうか、またはステップf)で取得可能な重畳度Mが既定の閾値を超えたかどうか、を第8装置を用いて判定し、所定回数の繰り返しを完了するまで、または重畳度Mが既定の閾値を超えるまで繰り返すことを実施すること、
h)第7装置を用いて前記の第二表示画像姿勢に対し、対象物表示姿勢を変化させること、
を含む。
本発明にかかる方法およびシステムにおいて、類似度Sおよび距離尺度Dは以下の式のように重畳度Mへ変換される。
M=S/(a+D)
ここで、aは既定の定数である。
本発明の方法及びシステムでは、少なくとも類似度Sに関してのスケール不変性は、少なくとも類似度Sに関する重畳度M間の関係の序列化におけるスケール不変性を含む。
本発明の方法及びシステムでは、対象物の相対変位は、例えば位置検出器やナビゲーションシステムによって対象物に装着したポインタ(153)を通して取得され、それに対応して対象物表示姿勢が変化する。
本発明の方法及びシステムでは、対象物の空間表示は、決定規則および、行列からなるスライス片を積み重ねた複数の体積要素(ボクセルと称する)からなり、各ボクセルは少なくとも1つの値を持ち、決定規則により、ボクセルの少なくとも1つの値に従って対象物を構成する各ボクセルの構成メンバーを決定する。
本発明の方法及びシステムでは、ボクセルの取得にはコンピュータ断層法(CT)、磁気共鳴法(MR)、単光子放出コンピュータ断層撮影(SPECT)、又はポジトロン放出断層撮影法(PET)を用いた撮像装置が用いられる。
本発明の方法及びシステムでは、対象物もしくはその対象物の一部から得られた参照画像データは、超音波や蛍光透視写真を例とする画像データからなる。これら参照画像データは、デジタル再構成放射線画像(DRRs)を例とするデジタル再構成画像データと対比できる。参照放射線画像の画像姿勢は、好ましくは、DRRsを例とする再構成画像データにおけるそれぞれの画像姿勢と、位置や方向が実質上同じであることを想定している。さらに、参照放射線画像の取得に用いられる撮像装置は、その配置が、再構成画像データ取得用の仮想もしくは合成画像装置と実質上同一であることが望ましい。
本発明の方法及びシステムでは、第一画像データと第二画像データの間の類似度Sは、第一画像データと第二画像データのそれぞれにおいて対応するペアを関連付けることによって得、前記少なくとも1点が単一点の場合はその点と対象物表示の表面との間のユークリッド距離から、また前記少なくとも1点が複数点の場合は複数の点と対象物表示の表面とのユークリッド距離の平均値から、前記少なくとも1点とその姿勢での対象物表示の表面との間の距離尺度Dが得られてもよい。
本発明の方法及びシステムでは、位置検出システムもしくはナビゲーションシステムを用いて、対象物の表面の一点もしくは複数点の位置を特定することができる。
本発明の方法は、一般的に用いられるコンピュータ、専用のコンピュータ、もしくはシステムオンチップ(SOC)で実行されるプログラムにより実行可能である。
さらに、コンピュータプログラムにより、コンピュータを本発明の装置として機能するようにしてもよい。
本発明の方法を実行するためのコンピュータプログラム、および/または、本発明の装置でコンピュータを機能させるコンピュータプログラムは、コンピュータへ読み込み可能なデータ記憶媒体に保存される。
本発明具体的な実施例は以下に示す図により記述される。
図1は、患者の骨盤などを例とする、対象物100の一部を図示したものである。空間表示(ここでは図示されていない)は、コンピュータ断層装置121を用いて術前に取得され、コンピュータシステム180に記録されている。X線源125を含む画像化システム120を用いて、二次元透視画像110が術中に取得される。あるいは、超音波画像などを例とする適宜の方法で、その他の画像データが得られる。画像化システム120はナビゲートされる。すなわち、手術室(ここでは図示されていない)における位置及び方向の変位は、コンピュータシステム180によってコントロール、および/または、位置付けされる。あるいは、画像化システム120は、画像化システム120の位置を示す受動的もしくは能動的なエレメントを含み、コンピュータシステム180に接続された1つないし複数のカメラ130によって観測される。
マーカー153は、例えば位置検出システム130によって対象物の相対変位を得るために使用される。
画像化システム120で取られた二次元透視画像110に加えて、先端151と位置表示エレメント152を含むポインター150が1台ないし複数のカメラ130によって追跡される。例えば患者の骨盤100の表面など、対象物の表面上の単一もしくは複数の点が、ポインターの先端を所望の1点または複数の点に導くことにより位置が特定される。ポインター150および少なくとも1台のカメラ130を有する追跡システムにより、手術環境に関連付けられた三次元座標系での単一もしくは複数点の位置が決定される。
本発明に基づく位置合わせ手法190は、コンピュータシステム180を用いて実行される。位置合わせは、与えられた最適化尺度を最適化する既知の手法により計算される。最適化におけるパラメータは、二次元領域と三次元領域の関係によって特定される。例えば、X線/蛍光透視画像化装置120を用いて得られた透視画像110が取られ、さらに対象物の表面上の点が取られた後、それに対応するデータがコンピュータシステム180に保存される。コンピュータシステム180では、同コンピュータシステム180に保存されているその対象物の空間表示(ここでは示されていない)から、画像化装置120にあるX線源125の位置や方向を用いて、デジタル再構成放射線画像(DRRs)が作成され、同コンピュータシステム180に保存される。位置および方向もまたコンピュータシステムに保存される。次に、例えばコンピュータシステム180の命令により、X線/蛍光透視画像110とデジタル再構成放射線画像(ここでは示されていない)の間の類似度Sが得られる。
その後、対象物の空間表示(ここでは示されていない)における現在の位置と方向(姿勢)を考慮して、手術環境に関連づけられた三次元座標における対象物の表面上で得られる少なくとも一点と対象物表示(ここでは示されていない)の表面との距離尺度Dが得られる。それから、類似度Sと距離尺度Dを組み合わせて、重畳度Mが以下の式に従って得られる。
M=S/(a+D)
ここで、aは既定の非消失定数である。
本発明において、CTの透視画像の最適化尺度を例とする類似度Sと表面の距離を例とする距離尺度Dの組み合わせでは、ある実施態様において、SとDの乗法的な組み合わせを使う。本発明に基づく重畳度Mに対するSとDの組み合わせにより、重畳度Mに関する最適化は、優先的かつ単調な関数 f(D) に関してスケール不変となる。ここで、f(D) = 1/(const.+D)である。S および 1/(a+D) いずれも、優先的な位置、および/または、方向を積極的に評価する。特に、本発明における方法では、放射線透視画像および対象物の空間表示のCTデータにおける濃度諧調のスケーリングに関して不変性をもたらす。
通常、画像の強度値に対して標準化スケーリングは利用可能ではない。それゆえ、類似項Sに関してスケール不変の最適化手順をとることが重要である。このため、本発明の方法およびシステムではSおよびDの乗法組み合わせ手法がとられている。
上記のようにして得られた重畳度Mの値に従って、対象物表示の位置および方向(姿勢)は、手術環境に関連付けられた三次元座標での異なる位置、および/または、方向を想定して、命令かつ調節が行われる。あるいは、本発明方法やシステムを使用するユーザーにとって、デジタル再構成放射線画像(DRRs)が取得される手法により、仮想又は合成カメラの位置や方向(姿勢)を調節することが便利である。本実施態様においては、デジタル再構成放射線画像(ここでは示されていない)を取得するために使用された仮想または合成カメラの姿勢の変化に従い、対象物の空間表示における姿勢が変更される。
次に図2に関してであるが、ここでは図1に示した位置合わせシステムにおいて用いられた一般原則、もしくは対象物もしくは対象物の一部と、三次元空間における対象物もしくは対象物の一部の空間表示とを本発明の装置を用いて位置合わせする一般原則を表すフローダイアグラムである。ここで、対象物や対象物の一部の空間表示は、操作環境に関して既知の初期位置や方向(姿勢)をとるものとする。
三次元操作空間における既知の位置や方向(姿勢)における対象物の空間表示310は手術前に取得されることを想定している。
ステップ320の参照画像データでは、対象物の放射線画像は、図1に例示するように、ナビゲートされたX線または蛍光透視画像システムによって取得される。
その後、操作空間で一点もしくは複数点の位置が対象物の表面上で特定される(330)。
簡単のため、図2に示した本発明に基づく位置合わせ法の実施例では、直接的な最適化手順が取り入れてある。ここで直接的な最適化手法では、対象物表示の初期姿勢から開始して、ステップ340から380を既定の回数だけ繰り返すことにより、重畳度Mが最も大きな値を持つ最適姿勢Pを得る。
PおよびMsupは、繰り返しを開始する前にステップ335で初期化される。
ステップ336では、例として0から50までカウントして繰り返すステップからなる。
各繰り返し再構成画像において、例えば現在の姿勢における対象物表示のデジタル再構成放射線画像(DRRs)の再構成画像は、空間対象物表示を通して光線を投射し、光線に当たった体積要素を積算することにより、例えば再構成放射線画像340を生成する。
ステップ350では、参照画像データと直前のステップにおけるデジタル再構成画像データ(DRRs)の間の類似度Sが得られる。ステップ355では、1つないし複数の点と現在の姿勢における対象物表示の表面との間の距離尺度Dが得られる。
対象物は、決定ルール及び行列で構成されるスライスで積み重なった複数の体積要素(ボクセル)により表示される。各ボクセルは少なくとも1つの値を持ち、また決定ルールによりそのボクセルの少なくとも1つの値からその対象物に対する各ボクセルのメンバーを決定する。そのような対象物または対象物の一部の表示において、対象物表示の表面は、既定の値で各ボクセルの値を閾値で処理することによって得られる。既知の手法を用いることにより、ボクセルの大きさ以下の精度で、操作空間上の一点と対象物表示の表面ボクセルとの間の距離が計算される。
ステップ360では、類似度Sおよび距離尺度Dが重畳度M=S/(const+D) として組み合わされる。
ステップ370では、重畳度Mが現在の最大値Msupを超えているかどうかを判断し、もしそうであれば、すなわちステップ370においてYESであれば、最適姿勢Pが現在の姿勢に設定され、ステップ375において重畳度の最大値Msupが現在の重畳度Mに設定される。
現在の重畳度Mが最大値Msupを超えていない場合、すなわちステップ370でNOの場合、あるいはステップ375を更新が完了した後、対象物表示の現在の姿勢を異なる位置や方向へ変化し、制御される最適化繰り返しがステップ336で、ステップ340から380の間で継続される。
繰り返しすなわち最適化における各ステップでは、(現在の姿勢やパラメータ設定に従って)三次元データセットから合成画像が描画され、二次元データセットと比較される。
所定の回数の繰り返しを完了した後、本発明に基づく位置合わせ手続は終了し、操作空間上で対象物表示を対象物の実際の姿勢と位置を合わせた姿勢Pが得られる。
その他、ステップ340から380間の繰り返しの終了に用いる収束の判定条件は、所定の繰り返しにおける重畳度Mが既定の閾値を超えるかどうかの判定作業を含む。
対象物もしくは対象物の一部を、その対象物または対象物の一部の空間表示へ位置合わせする方法の応用を示した概略図である。 本発明に基づく手法の実施例を示したフローチャートである。
100 対象物(患者の骨盤)
110 二次元透視画像
120 画像化システム(X線/蛍光透視画像化装置)
121 コンピュータ断層装置
125 X線源
130 カメラ
150 ポインター
151 先端
152 位置表示エレメント
153 マーカー
180 コンピュータシステム
190 位置合わせ手法

Claims (12)

  1. 対象物またはその対象物の一部(対象物と称する)と、対象物表示姿勢すなわち操作空間における位置及び方向からなる姿勢での対象物の空間表示(以下対象物表示と称する)とを三次元の操作空間において位置合わせするための装置であって、該装置は、
    三次元の操作空間での座標系における位置及び方向からなる第一画像姿勢において、その対象物の第一画像データを取得するための第1装置と、
    上記第一画像データに対応し、三次元の操作空間での座標系における位置と方向からなる第二画像姿勢において、その対象物表示姿勢における対象物表示からデジタル再構成することによって上記第一画像データに対応する第二画像データを取得するための第2装置と、
    第一および第二画像データの間の類似度Sを取得するための第3装置と、
    操作空間で、対象物の表面における少なくとも一点の位置を特定するための、位置検出システムまたはナビゲーションシステムまたは追跡システムである第4装置と、
    前記少なくとも一点とその対象物表示姿勢における対象物表示の表面との間の距離尺度Dを取得するための第5装置と、
    類似度Sおよび距離尺度Dとの組み合わせであり、少なくとも類似度Sに関してスケール不変である重畳度Mを取得するための第6装置と、
    対象物表示姿勢を、前記第二画像姿勢に対して異なる姿勢へ変化させるための第7装置と、
    第2装置から第7装置でのステップの繰り返し毎に、第6装置から取得可能な重畳度Mが現在の最大値M sup を超えているかどうかを判定し、もし超えている場合には、最適姿勢Pが現在の姿勢に設定され、重畳度の最大値M sup を前記の重畳度Mに更新しながら、繰り返し回数が所定の回数に達したかどうか、または第6装置から取得可能な重畳度Mが既定の閾値を超えたかどうかを判定し、所定回数の繰り返しを完了した後、または重畳度Mが既定の閾値を超えた後、前記のステップの繰り返しを終了するための第8装置と、を含む装置。
  2. 類似度Sおよび距離尺度Dが組み合わされて重畳度Mを以下の式を用いて得られる請求項1記載の装置。
    M=S/(a+D)(ここで、a は既定の定数である。)
  3. 少なくとも類似度Sに関してのスケール不変性が、少なくとも類似度Sに関して重畳度Mのオーダリングにおけるスケール不変性を含む請求項1または2に記載の装置。
  4. さらに、対象物表示姿勢に対する対象物の相対変位を得るための第9装置と、それに従い対象物表示姿勢を適合化させる第10装置とを含む請求項1〜のいずれか1項に記載の装置。
  5. 対象物表示姿勢に対する対象物の相対変位が、位置検出システムやナビゲーションシステムによって、対象物に装着したマーカー153を通して取得される請求項1〜のいずれか1項に記載の装置。
  6. 対象物が患者の体である請求項1〜のいずれか1項に記載の装置。
  7. 対象物の空間表示が決定規則と、行列からなるスライス片を積み重ねた複数の体積要素(ボクセルと称する)を含み、ボクセルは少なくとも1つの値を持ち、決定規則により、ボクセルの少なくとも1つの値に従って対象物に属するボクセルの構成メンバーを決定する請求項1〜のいずれか1項に記載の装置。
  8. コンピュータ断層法(CT)、磁気共鳴(MR)、単光子放出コンピュータ断層撮影(SPECT)、又はポジトロン放出断層撮影法(PET)を用いた撮像装置により、ボクセルが取得される請求項に記載の装置。
  9. 第一画像データは超音波画像または蛍光透視放射線画像からなり、第二画像データはデジタル再構成画像またはデジタル再構成放射線画像(DRRs)からなり、第一画像姿勢は第二画像姿勢に互いに実質上同じ位置及び方向であると想定している、請求項1〜のいずれか1項に記載の装置。
  10. 第一画像データと第二画像データの間の類似度Sを、第一画像データと第二画像データの対応するペアを関連付けることによって得、前記少なくとも1点が単一点の場合はその点と対象物表示の表面との間のユークリッド距離から、また前記少なくとも1点がそうでない場合は複数の点と対象物表示の表面とのユークリッド距離の平均値から、前記少なくとも1点とその対象物表示姿勢での対象物表示の表面との間の距離尺度Dを得る、請求項1〜のいずれか1項に記載の装置。
  11. プログラムのコンピュータ上での実行時に、コンピュータを請求項1〜10のいずれか1項に記載の装置として機能させるためのプログラムコードを含むコンピュータプログラム。
  12. コンピュータにより読み込み可能なデータ記録媒体に記録された、請求項11に記載のプログラムコードを含むコンピュータプログラム。
JP2007215482A 2006-08-22 2007-08-22 画像データの位置合わせ Active JP5243754B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06017396A EP1892668B1 (en) 2006-08-22 2006-08-22 Registration of imaging data
EP06017396.0 2006-08-22

Publications (2)

Publication Number Publication Date
JP2008055156A JP2008055156A (ja) 2008-03-13
JP5243754B2 true JP5243754B2 (ja) 2013-07-24

Family

ID=37695974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007215482A Active JP5243754B2 (ja) 2006-08-22 2007-08-22 画像データの位置合わせ

Country Status (3)

Country Link
US (1) US8031922B2 (ja)
EP (1) EP1892668B1 (ja)
JP (1) JP5243754B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724943B2 (en) * 2004-04-21 2010-05-25 Siemens Medical Solutions Usa, Inc. Rapid and robust 3D/3D registration technique
CA2692543A1 (en) * 2007-10-01 2009-04-09 Orthosoft Inc. Construction of a non-imaged view of an object using acquired images
JP5229873B2 (ja) * 2008-01-31 2013-07-03 東芝メディカルシステムズ株式会社 画像表示装置
US8526700B2 (en) * 2010-10-06 2013-09-03 Robert E. Isaacs Imaging system and method for surgical and interventional medical procedures
US11231787B2 (en) 2010-10-06 2022-01-25 Nuvasive, Inc. Imaging system and method for use in surgical and interventional medical procedures
CA2840193C (en) 2011-06-22 2017-11-21 DePuy Synthes Products, LLC Assembly for manipulating a bone comprising a position tracking system
US9792729B2 (en) 2011-10-21 2017-10-17 The Research Foundation For The State University Of New York System and method for context preserving maps of tubular structures
US8525846B1 (en) * 2011-11-11 2013-09-03 Google Inc. Shader and material layers for rendering three-dimensional (3D) object data models
JP2014097220A (ja) * 2012-11-15 2014-05-29 Toshiba Corp 手術支援装置
US9384416B1 (en) * 2014-02-20 2016-07-05 University Of South Florida Quantitative image analysis applied to the grading of vitreous haze
US9892326B2 (en) * 2016-03-31 2018-02-13 International Business Machines Corporation Object detection in crowded scenes using context-driven label propagation
JP7170631B2 (ja) 2016-10-05 2022-11-14 ニューヴェイジヴ,インコーポレイテッド 外科ナビゲーションシステム及び関連する方法
US11458333B2 (en) 2017-06-22 2022-10-04 Brainlab Ag Surface-guided x-ray registration
US10893843B2 (en) * 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US11612440B2 (en) 2019-09-05 2023-03-28 Nuvasive, Inc. Surgical instrument tracking devices and related methods
CN115279294A (zh) 2020-01-13 2022-11-01 史赛克公司 在导航辅助手术期间监控偏移的***
US11980426B2 (en) 2020-08-03 2024-05-14 Warsaw Orthopedic, Inc. System and method for preliminary registration
CN112472293B (zh) * 2020-12-15 2022-10-21 山东威高医疗科技有限公司 一种术前三维影像与术中透视图像的配准方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4791934A (en) 1986-08-07 1988-12-20 Picker International, Inc. Computer tomography assisted stereotactic surgery system and method
DE19705600A1 (de) * 1997-02-14 1998-08-20 Philips Patentverwaltung Verfahren zur Ermittlung der Transformation zwischen einem Objekt und seiner dreidimensionalen Darstellung und Anordnung zur Durchführung des Verfahrens
US5951475A (en) 1997-09-25 1999-09-14 International Business Machines Corporation Methods and apparatus for registering CT-scan data to multiple fluoroscopic images
US6470207B1 (en) * 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
US6533455B2 (en) * 2000-08-31 2003-03-18 Siemens Aktiengesellschaft Method for determining a coordinate transformation for use in navigating an object
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
US7394946B2 (en) * 2004-05-18 2008-07-01 Agfa Healthcare Method for automatically mapping of geometric objects in digital medical images
US7327872B2 (en) * 2004-10-13 2008-02-05 General Electric Company Method and system for registering 3D models of anatomical regions with projection images of the same
JP4512824B2 (ja) * 2005-02-04 2010-07-28 国立大学法人 千葉大学 画像処理装置及びそれに用いられるプログラム
US7894649B2 (en) * 2006-11-02 2011-02-22 Accuray Incorporated Target tracking using direct target registration

Also Published As

Publication number Publication date
US8031922B2 (en) 2011-10-04
EP1892668A1 (en) 2008-02-27
JP2008055156A (ja) 2008-03-13
US20080049014A1 (en) 2008-02-28
EP1892668B1 (en) 2012-10-03

Similar Documents

Publication Publication Date Title
JP5243754B2 (ja) 画像データの位置合わせ
US11989338B2 (en) Using optical codes with augmented reality displays
US11393110B2 (en) Spatial registration of tracking system with an image using two-dimensional image projections
US8145012B2 (en) Device and process for multimodal registration of images
JP6745879B2 (ja) 身体部内の超音波プローブを追跡するためのシステム
Weese et al. Voxel-based 2-D/3-D registration of fluoroscopy images and CT scans for image-guided surgery
US6782287B2 (en) Method and apparatus for tracking a medical instrument based on image registration
JP2020520744A (ja) 画像の三次元再構成及び改善された対象物定位のために、放射状気管支内超音波プローブを用いるための方法
US20130094742A1 (en) Method and system for determining an imaging direction and calibration of an imaging apparatus
EP2849630B1 (en) Virtual fiducial markers
US11138768B2 (en) System and method for artifact reduction in an image
JP2011508620A (ja) 特徴に基づいた2次元/3次元画像のレジストレーション
TWI836493B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
US20160135776A1 (en) Method and system for intraoperative imaging of soft tissue in the dorsal cavity
CN108430376B (zh) 提供投影数据集
US20100195890A1 (en) Method for completing a medical image data set
US20120328174A1 (en) System and method for processing an x-ray image of an organ
TWI842001B (zh) 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实***和方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120125

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5243754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250