JP6671432B2 - 患者装着式の針ガイドの位置合わせおよび動き補償 - Google Patents

患者装着式の針ガイドの位置合わせおよび動き補償 Download PDF

Info

Publication number
JP6671432B2
JP6671432B2 JP2018151301A JP2018151301A JP6671432B2 JP 6671432 B2 JP6671432 B2 JP 6671432B2 JP 2018151301 A JP2018151301 A JP 2018151301A JP 2018151301 A JP2018151301 A JP 2018151301A JP 6671432 B2 JP6671432 B2 JP 6671432B2
Authority
JP
Japan
Prior art keywords
image
needle
patient
target
fiducial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018151301A
Other languages
English (en)
Other versions
JP2019076693A (ja
Inventor
淳一 徳田
淳一 徳田
ローラン ショーバン
ローラン ショーバン
ケマル タンカーリ
ケマル タンカーリ
伸彦 波多
伸彦 波多
ナラヤナン サントーシュ ガネサン
ナラヤナン サントーシュ ガネサン
バレット ダニエルズ
バレット ダニエルズ
ブライアン ニンニ
ブライアン ニンニ
キング フランクリン
キング フランクリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brigham and Womens Hospital Inc
Canon USA Inc
Original Assignee
Brigham and Womens Hospital Inc
Canon USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brigham and Womens Hospital Inc, Canon USA Inc filed Critical Brigham and Womens Hospital Inc
Publication of JP2019076693A publication Critical patent/JP2019076693A/ja
Application granted granted Critical
Publication of JP6671432B2 publication Critical patent/JP6671432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3405Needle locating or guiding means using mechanical guide means
    • A61B2017/3409Needle locating or guiding means using mechanical guide means including needle or instrument drives
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/374NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

関連出願の相互参照
本願は、参照によりその開示の全体を本明細書に組み込む、2017年11月8日出願の米国仮特許出願第62/544487号の優先権の利益を主張するものである。
本開示は、一般に、医療用撮像のシステム、方法、およびデバイスに関し、さらに詳細には、基準マーカおよび処理アルゴリズムを使用した、患者装着式の針誘導医療デバイス(patient-mounted needle guide medical device)の自動位置合わせおよび動き補償に関する。
画像誘導式経皮的処置は、肝臓および腎臓の癌性腫瘍などの患部組織を検査および/または処置するために広く行われている。画像誘導式経皮的冷凍療法(または「冷凍アブレーション」)は、非血管性介入処置であり、画像誘導式熱的腫瘍切除と呼ばれるいくつかの処置のうちの1つである。これらの療法としては、冷凍アブレーション、無線周波数アブレーション(RFA)、マイクロ波アブレーション(MWA)、レーザアブレーション、高密度焦点式超音波治療法(FUS)、および不可逆電気穿孔法(IRE)が挙げられる。同様に、生検処置は、組織をサンプリングしてその組織が良性であるか、悪性であるか、感染性であるかを判定する、最小侵襲方法である。画像誘導式生検では、肺、腎臓、肝臓、リンパ節など、体内の手の届きにくい部位に針を安全に挿入することを可能にする撮像技術を使用する。生検は、意識下鎮静状態で行われ、患者に投薬を行って眠気を催させるが、無意識状態にはしないプロセスである。画像誘導式熱的腫瘍切除または画像誘導式生検に有用ないくつかの撮像モダリティとしては、超音波(US)撮像、X線コンピュータ断層撮影法(CT)、リアルタイムX線(蛍光透視法)、および磁気共鳴撮像(MRI)が挙げられる。
超音波およびCTは、プローブをターゲットの障害まで手作業で誘導して治療効果をモニタリングするためにしばしば選択される撮像モダリティであるが、イオン化放射を使用しないこと、および他のモダリティでは腫瘍が周囲組織に対して特徴的なコントラストを示さないことがあることから、MRIが好ましいことがある。術中MRIは、優れた軟部組織コントラストを有する高解像度の2次元(2D)または3次元(3D)画像を提供することができる。さらに、MRIには、アブレーション治療中の熱的影響をモニタリングする際の特有の利点がある。すなわち、冷凍アブレーションでは、「アイスボール」の形成がMR画像で信号の抜けとしてモニタリングされることがあり、RFA、MWA、およびレーザアブレーションでは、陽子共鳴周波数(PRF)シフト法に基づくMR温度測定によって、組織の熱「照射量」をモニタリングすることを可能にしている。冷凍療法における「照射量」の概念は、組織が最低温度にさらされる持続時間、凍結速度、および/または解凍速度に関係している。腫瘍を描写し、熱的影響をモニタリングするMRIの様々な能力を組み合わせることにより、医師は、処置中に十分なアブレーションのマージンを確保することができ、これにより、腫瘍の再発率が低下する可能性がある。さらに、MRIでは、患者および臨床スタッフがイオン化放射にさらされることがない。
生検用または冷凍アブレーション用のプローブを画像誘導によって手作業で挿入する他に、プローブ誘導デバイスを使用してプローブを誘導するという別の解決策がある。プローブ誘導デバイスは、患者がMRIスキャナの外部にいる間に、選択した方向に沿ってプローブを機械的に固定することによって、機械的にプローブの軌道を正確に維持することができる。したがって、ターゲット位置が変わらない限り、プローブを正確にターゲットに挿入することができる。こうしたデバイスは、誘導デバイスが患者に対してどのように固定されるかによって、「テーブル装着式」「ガントリ装着式」および「フロア装着式」システム、あるいは「患者装着式」システムに分類することができる。患者装着式システムは、部屋(または画像座標系)ではなく患者の皮膚に直接取り付けられるので、他のカテゴリのプローブ誘導デバイスよりも患者の動きの影響を受けにくいと仮定することができる。さらに、患者装着式システムは、患者の皮膚の上のプローブの挿入点(entry point)に装着されるように設計され、その挿入点の周りでプローブを傾ける機構しか必要としないので、比較的簡単な機構でプローブ誘導を実現することができる。
ただし、針の配置の精度については解消する必要がある重要な疑問があり、こうした問題としては、これらに限定されるわけではないが、患者の動きが針の配置の精度にどのような影響を及ぼすか、およびこのような動きをどのようにすれば管理することができるか、といったことが挙げられる。臨床のシナリオでは、患者の動きは、体表面および内部器官の動きを含み、これらは、独立して動く可能性があり、またターゲット障害に対してデバイスを大きく変位させる可能性がある。撮像と針の配置とが処置中の異なる時点で行われるものとすると、体表面および内部器官の動きにより潜在ターゲティング精度を推定することが重要である。米国特許公開第2017/0000581号などの従来技術の研究から、不規則な患者の動きがある状況でも、基準マーカと位置合わせされる患者装着式の針誘導デバイスの方が手作業による処置よりも良好なプローブ配置精度が得られることが分かっているが、この研究では、体表面と内部器官中のターゲットとが一緒に動く、剛的な患者の動きしか考慮していない。しかし、臨床のシナリオでは、例えば呼吸運動などによる胸部および腹部の変形によって生じるので、デバイスとターゲットとの間の空間的関係は、処置中に絶えず変化している。さらに、患者の動きがない場合でも、針の挿入によって引き起こされる組織の変位によって、内部のターゲット位置が変化する可能性がある。具体的には、針を患者に挿入していくにつれて、針の軌道に沿って針の太さがある程度の物理的空間を占めるので内部器官が変位する可能性があり、これにより、患者の動きがなくてもターゲット位置がずれることがある。
したがって、基準マーカの位置合わせが行われていても、手術または処置中の患者の一定かつ/または定期的な動き、あるいは内部器官の変位を考慮しなければならない。針誘導デバイスが患者に直接取り付けられる実施形態では、患者の動きは、針誘導デバイスに直接伝達されて、処置が、限定された、誤差の生じやすいものになる。したがって、上述の欠点が解消された、処置中の画像解析ならびに画像位置合わせおよび画像再位置合わせを自動化するシステムおよび方法を提供することが望ましい。
本発明の様々な実施形態によれば、自動デバイス/画像間の位置合わせ(registration)および再位置合わせ(re−registration)の装置および方法が提供される。一実施形態によれば、システムは、MRI適合患者装着式針誘導デバイス用に開発されている。このシステムは、画像を取得するたびにデバイスを患者に対して自動的に位置合わせし、針の配向を調節して患者の動きによるターゲットの変位またはデバイスの変位を補償することを可能にする、新規のデバイス/画像間位置合わせアルゴリズムを組み込んでいる。本開示の1つの目標は、患者装着式針誘導デバイスが実現するターゲティング精度と、臨床シナリオにおける動き補償の影響とを推定することである。特に関心があるのは、スキャン間の動き、すなわちMR画像取得間の患者に対するターゲット位置または誘導デバイスの変位である。スキャン間の動きは、ターゲットと、初期MRスキャンに基づいて計画される針挿入経路との間で位置ずれを引き起こす可能性がある。患者装着式針誘導デバイスが実現するターゲティング精度を推定するために、動き補償を行う場合と行わない場合の針ガイドを使用した針の配置を、MRI誘導式腎臓冷凍アブレーション中に少なくとも20人の患者から得た画像を使用してシミュレートした。このシミュレーションでは、一連の3D術中MR画像から計算した体表面およびターゲット障害の両方の変位を考慮している。これにより、このシステムは、MR画像取得間のデバイスおよび/またはターゲットの変位を推定することができる。このシステムは、ターゲットに対するデバイス位置を実時間で追跡する全自動式の画像に基づくデバイス/画像間位置合わせアルゴリズムと、針軌道を調節して変位を補償するデバイス制御装置とを含む。
本発明の一実施形態によれば、医療デバイスと患者の解剖学的構造との間の自動位置合わせの方法は、医療デバイスおよび患者の解剖学的構造の第1の画像データを取得するステップであり、医療デバイスが、患者に取り付けられており、医療デバイスが、医療デバイス上に基準フレームとして配置された1つまたは複数の基準マーカ(fiducial marker)を備える、ステップと、第1の画像データ内で基準マーカオブジェクトを検出するステップと、第1の画像データ内で各基準マーカオブジェクトについて代表点を規定するステップと、第1の画像データ内で規定された代表点を基準フレームのモデルと位置合わせして、第1の位置合わせ済み基準フレームを得るステップと、医療デバイスおよび患者の解剖学的構造の少なくとも1つの後続の画像データを取得するステップと、少なくとも1つの後続の画像データ内で基準マーカオブジェクトを検出するステップと、少なくとも1つの後続の画像データ内で各基準マーカオブジェクトについて代表点を規定するステップと、少なくとも1つの後続の画像データ内で規定された代表点を基準フレームのモデルと位置合わせすることによって医療デバイスと患者の解剖学的構造とを再位置合わせして、再位置合わせ済み基準フレームを得るステップとを含む。
本開示の上記その他の目的、特徴、および利点は、添付の図面と関連付けられた以下の本開示の例示的な実施形態の詳細な説明、および後記の特許請求の範囲を読めば、当業者には明らかになるであろう。
本開示のさらなる目的、特徴、および利点は、以下の詳細な説明を本開示の例示的な実施形態を示す添付の図面と関連付けて読めば明らかになるであろう。
図1は、患者の画像誘導式経皮的処置を行う例示的な外科手術システムを示す図である。 図2は、例示的な自動画像処理のプロセスを説明するフローチャートである。 図3Aは、ナビゲーションソフトウェア、針誘導ロボット、およびMRIスキャナを含む針誘導システムを示すブロック図である。図3Bは、ワークフロープロセスを実行するように特にプログラムされた例示的なコンピュータを示すブロック図である。 図4は、再位置合わせを含む本発明の例示的な臨床ワークフロープロセスを示すフローチャートである。 図5A、図5B、図5Cおよび図5Dは、針誘導ロボットと患者との間の関係を2D表現および3D表現で提示するナビゲーションソフトウェアのグラフィカルユーザインタフェース(GUI)の画像である。GUIは、ロボットが現在位置にある状態でターゲティングすることができる範囲も示している。 図6A、図6B、図6C、図6D、図6Eおよび図6Fは、円形構成の球形マーカの場合の自動基準位置合わせの例示的なステップを示す図である。 図7A、図7Bおよび図7Cは、MR誘導式腎臓冷凍アブレーション中に取得される術中MR画像を使用した針誘導のシミュレーションを示す概略図である。 図8は、再位置合わせの前後の針の位置決めの例示的な結果を示す図である。 図9Aは、ターゲットの変位により位置合わせが必要であるかどうかを判定する例示的な処理ステップを示す図である。 図9Bは、ターゲットの変位により位置合わせが必要であるかどうかを判定する例示的な処理ステップを示す図である。 図9Cは、ターゲットの変位により位置合わせが必要であるかどうかを判定する例示的な処理ステップを示す図である。
これらの図面を通じて、図示の実施形態の同様の特徴、要素、構成要素、または部分は、特に記載がない限り、同じ参照番号および参照文字を使用して示してある。さらに、以下、これらの図面を参照して本開示について詳細に説明するが、その説明は、説明のための例示的な実施形態に関連して行う。これらの説明する例示的な実施形態には、添付の特許請求の範囲によって定義される本開示の真の範囲および趣旨を逸脱することなく、様々な変更および修正を加えることができるものと意図されている。
実施形態は、画像に基づく自動デバイス再位置決めを使用して患者の動きによる針誘導デバイスの変位および/またはターゲット領域の変位を適応的に補償することができるシステムなどの、基準マーカ、システム、および方法を提供するという目的に基づくものである。このシステムは、器官または患者の動きに適応するように再位置決めならびに自動的かつ/または連続的な位置合わせの更新を行うことを可能にする。このシステムは、例えば針を患者に挿入するために方向付ける、または位置決めすることができる、患者に装着される医療デバイスと、断層撮像デバイスと、ナビゲーションソフトウェアアルゴリズムとを含む。このデバイスが患者装着式であるということは、つまり、患者が動くにつれて、デバイスも患者とともに動くということを意味している。したがって、デバイスが患者とともに動くので、患者の多くの動きが、使用中にデバイスにかなりの影響を及ぼすことになる。
I.撮像デバイスおよび医療デバイス(Imaging and Medical Devices)
本明細書に記載する基準マーカ、システム、および方法は、任意の断層撮像モダリティと関連して使用される任意の医療デバイスとともに使用することができる。断層撮像モダリティは、例えば、MRI、CT、または超音波撮像モダリティとすることができる。医療デバイスは、例えば患者の皮膚に直接装着されるように構成された針配置デバイスなどの患者装着可能デバイスとすることができる。
本発明と組み合わせて使用することができる医療デバイスの一例が、参照によりその全体を本明細書に組み込む米国特許第9222996号に記載されている。この参考文献は、2重リング機構を備えたMRI適合性人体装着型針誘導デバイスを提供する。ただし、本発明は、これらのデバイスに限定されるわけではない。
MRI適合性患者装着式針誘導デバイス(MRI-compatible Patient-Mounted Needle Guide Device)。
MRI適合性患者装着式針誘導デバイスは、例えば参照により本明細書に組み込む米国特許第9222996号に提示される2重リング機構を備える。このアクティブな2自由度(2−DoF)機構は、遠隔運動中心(RCM)の周りでパッシブな針ガイドを傾斜させて、生検用またはアブレーション用の針を、術中MR画像上で視覚化しながら、患者の体内のターゲットに向かって誘導する。
図1は、患者の画像誘導式経皮的処置を行う例示的な外科手術システムを示す図である。図1に示すように、この外科手術システムは、手術室110および制御室150を含む。この外科手術システムは、手術室110と制御室150とが隣どうしにある病院内に位置していることもあるし、あるいは手術室110と制御室150とが互いに遠隔の分離した位置にあることもある。制御室150は、制御室ユーザ14などの非滅菌状態のユーザが、滅菌状態のユーザが使用する手術室110をモニタリングして、これに対して遠隔に支援業務を行うことができる中央スペースとして機能する部屋とすることができる。滅菌状態のユーザとしては、患者の障害/腫瘍を処置するためにアブレーション処置を選択する腫瘍外科医、腫瘍およびそのサイズを特徴付け、かつ/または生検処置の結果を調査するために画像を集約して解析する専門技術を有する介入放射線医、看護師、ならびに麻酔医などが挙げられる。制御室ユーザ14として働く人員としては、CTまたはMRI技師など、1人または複数人の撮像技師が挙げられる。制御室150は、アブレーションサーバ200と、ネットワーク接続218、220を介してアブレーションサーバ200と通信している制御モニタ152とを含む。アブレーションサーバ200は、有線ネットワーク222または無線ネットワーク226を介して手術室110と通信している。制御モニタ152は、グラフィカルユーザインタフェース(GUI)を提供し、キーボード154は、制御室ユーザ14がアブレーション適用処置(図2)を使用して手術前計画を行うための操作インタフェースを提供する。
手術室110は、撮像モダリティ204と、有線ネットワーク222または無線ネットワーク226を介してアブレーションサーバ200と動作可能に通信している手術コンソール212とを含むことがある。経皮的処置中に、臨床医は、針誘導デバイス180および手術コンソール212を使用して、挿入されたプローブ182の位置を確認するために患者の体内を見るための撮像モダリティ204を使用して、1つまたは複数のプローブ182(針状器具)を患者10に挿入することができる。
針誘導デバイス180は、RCMが皮膚上の針挿入点と位置合わせされるように患者の体の表面12(皮膚)に配置され、次いでストラップで固定される。互いに対して固定された角度で結合された2つのリング状の回転ステージからなる2重リング機構186a、186bによって、2自由度のRCMの動きがもたらされる。これらの回転ステージは、例えばエンコーダ(図示せず)が埋め込まれた特注の超音波アクチュエータによって駆動される。この特有の2重リング機構の利点としては、1)医師が皮膚の挿入点にアクセスできる範囲が広いこと、2)超音波アクチュエータおよび回転エンコーダを収容するのに適したリング状の回転ステージ、3)フットプリントの小さな剛性構造、4)臨床医の指、患者の皮膚、ドレープ、毛布、またはその他の機器をはさむ危険性の低い単純かつ安全な機構、が挙げられる。
画像上でデバイスを位置特定し、デバイスを画像座標系と位置合わせするために、MR可視球形基準マーカ184が、誘導デバイス180に埋め込まれている。基準マーカを検出して位置合わせする全自動アルゴリズムについては、「全自動の基準に基づくデバイス/画像間位置合わせ」の項に記載する。
位置合わせの方法は、参照によりその全体を本明細書に組み込む米国特許公開第2017/0000581号に記載されている。この文献は、位置合わせのシステムおよび方法を提供している。図2は、デバイス/画像間位置合わせのための自動画像処理の概要を説明するフローチャートである。最初に、ステップ102で、医療デバイスを入手する。医療デバイスの入手は、例えば、針誘導デバイス180を、患者10の外科手術部位の上に配置または固定することを含むことがある。次に、ステップ104で、デバイスおよび患者の解剖学的構造の医療画像データを取得する。この画像データは、例えば、MRIデータまたはCTデータを含む。ステップ106で、この医療画像データから、基準マーカオブジェクト(基準マーカ184の画像)を検出する。これを行うためには、最初に、ステップ108で、微分に基づく演算などの特徴強調108をデータに適用する。次に、ステップ110で、特徴抽出を適用する。基準がクラスタとして配置されているときには、ステップ112で、クラスタリングアルゴリズムを適用する。このステップ112(破線で示す)は、基準が環状に配置されている実施形態では用いられない。次いで、ステップ114で、代表点を規定する。次のステップは、基準マーカオブジェクト120を位置合わせすることを含む。基準が環状に配置されている実施形態では、ステップ116で、針誘導デバイス180のリングを特定の角度だけ回転させる、または反転させる。これは、360°またはそれ未満の回転であることも、あるいは180°の反転であることもある。次いで、ステップ118で、2点間マッチングを適用する。ステップ122で、2点間マッチングのデータから、画像上のターゲットを規定する。位置合わせ124に基づいて、誘導デバイス180に関するターゲット座標を計算する。次いで、ステップ126で、計算したターゲット座標に基づいてデバイスを調整して、針またはプローブ182をターゲットに誘導する。ステップ128で、画像を生成して表示し、計画した軌道による針の配置を確認する。
II.制御システム(Control System)
図3Aは、ナビゲーションソフトウェア201、針誘導制御装置202、および撮像モダリティ204からなる例示的な制御システムを示すブロック図である。図3Aは、MRI誘導式経皮的アブレーションのための針誘導制御システムの構成要素およびデータフローを示す図である。このシステムは、ナビゲーションソフトウェア、針誘導システム制御装置、および手術室のローカルエリアネットワークに接続されたMRIシステムという3つのサブシステムを有する。これらのサブシステムは、図示のフローに従って互いに通信して、コマンド、デバイス状態、および画像データを交換する。撮像モダリティ204は、コンソール212およびMRIハードウェア214を含む。一実施形態では、MRIハードウェア214は、患者テーブル、スキャナのガントリ、操作用制御要素などを含むことがあり、コンソール212は、撮像モダリティ204の一部であってもよいし、あるいは針誘導デバイス180を操作する専用の別個の操作用コンソールであってもよい。
いくつかの実施形態では、図3Aの制御システムは、ナビゲーションソフトウェア201、論理制御層206、および物理制御層208を含む、3つの構成要素層を備える。ナビゲーションソフトウェア201と針誘導デバイス制御装置202とは、別個のプロセスとして動作することができる。これらの構成要素は、独立したハードウェア/ソフトウェアデバイスとして実装されるときには、例えばイーサネットまたはユニバーサルシリアルバス(USB)接続を介して互いに通信する。実際の針誘導ハードウェア210と対話するために、物理制御層208は、(物理)電子回路接続を使用することがある。ただし、他の実施形態では、これらの構成要素のうちの2つ以上が、単一のソフトウェアプロセス、またはソフトウェア要素とハードウェア要素の組合せに一体化され、実際の接続が不要になることもある。
制御システムのこれら3つの構成要素の詳細は、以下の通りである。
ナビゲーションソフトウェア(Navigation Software)。
ナビゲーションソフトウェア201は、システム内の最上位層の構成要素であり、図3では、ユーザインタフェースおよびディスプレイ230ならびに針誘導制御装置202の論理制御層206と動作可能に通信している独立したプロセスとして例示してある。ナビゲーションソフトウェア201は、例えば、医師および/またはオペレータのための1次ユーザインタフェースであるユーザインタフェースおよびディスプレイ230と協働する。ナビゲーションソフトウェア201は、別個のプロセスとして動作する針誘導デバイス制御装置202とともに動作することができる。ナビゲーションソフトウェア201と針誘導デバイス制御装置202とは、処置中に、例えばOpenIGTLinkネットワーク通信プロトコルを用いて、位置合わせコマンド、デバイス状態、およびターゲット位置などのメッセージを交換する。OpenIGTLinkは、画像誘導式治療法(IGT)のためのオープンで単純で拡張可能なネットワーク通信プロトコルである。このプロトコルは、座標変換、画像、デバイス状態メッセージの伝達によってハードウェアとソフトウェアを接続する標準化機構を提供する。ナビゲーションソフトウェア201は、Digital Imaging and Communications in Medicine(DICOM)標準を使用して手術室110内のMRIシステム(撮像モダリティ204の一例)からローカルエリアネットワークを介して術中MR画像をインポートすることもできる。
ナビゲーションソフトウェア201は、ユーザインタフェースおよびディスプレイ230を介して医師およびオペレータの1次ユーザインタフェースとして機能する。ナビゲーションソフトウェア201は、そのグラフィカルユーザインタフェースおよび3D画像視覚化機能を利用する、例えばオープンソース医療用画像計算ソフトウェア[Gering 2001、Andriy 2012]など、3D Slicerのプラグインモジュールとして実装される。さらに、このプラグインモジュールソフトウェアは、針挿入計画、デバイス/画像間位置合わせ、デバイスの制御およびモニタリング、ならびに針配置モニタリングなど、次の項で述べる臨床ワークフローを支援する特徴を提供する。
針誘導制御装置202は、アクチュエータの制御、ならびに針誘導デバイス180(図1)のエンコーダおよびセンサのモニタリングを担当する。制御装置202は、制御コマンドおよびパラメータ(例えば位置合わせ変換およびターゲット座標)をナビゲーションソフトウェア201から受信し、ハードウェア状態(例えば針誘導デバイスの現在の配向、およびハードウェア誤差情報)をナビゲーションソフトウェア201に送信する。
ナビゲーションソフトウェア201からターゲット座標を受信すると、制御装置202は、逆運動学を計算することによって、これらの座標を個々のアクチュエータの変位に変換し、計算結果を比例積分微分(PID)制御装置に渡して、個々のアクチュエータを制御する。エンコーダの読みは、針誘導デバイス180の配向に変換され、ナビゲーションソフトウェア201に返送される。
図3Bは、図1のシステムの例示的なコンピュータ制御システムを示す概略図である。図3Bに示すように、コンピュータ制御システムは、図1に示すサーバ200またはコンソール212を表している。図3Bでは、コンピュータ190は、中央処理装置(CPU)301、記憶メモリ(ROM/RAM)302、ユーザ入出力(I/O)インタフェース303、およびシステムインタフェース304を含む。コンピュータ190のこれらの様々な構成要素は、データバス305を介して互いに通信する。
記憶メモリ302は、1つまたは複数のコンピュータ可読および/または書込み可能媒体を含み、例えば、磁気ディスク(例えばハードディスクドライブHHD)、光ディスク(例えばDVD(登録商標)、Blu−ray(登録商標)など)、光磁気ディスク、半導体メモリ(例えば不揮発性メモリカード、フラッシュ(登録商標)メモリ、固体状態ドライブ、SRAM、DRAM)、EPROM、EEPROMなどを含む可能性がある。記憶メモリ302は、オペレーティングシステム(OS)プログラムなどのコンピュータ可読データおよび/またはコンピュータ実行可能命令と、図3Aのブロック図ならびに図2および図4のアルゴリズムの少なくとも一部分を表す命令などの制御および処理プログラムとを記憶することができる。ユーザインタフェース303は、入出力(I/O)デバイスとの通信インタフェース(電子接続)を提供し、入出力(I/O)デバイスとしては、キーボード、ディスプレイ(LCDまたはCRT)、マウス、印刷装置、タッチスクリーン、外部光学記憶デバイス、スキャナ、マイクロフォン、カメラ、通信ケーブル、およびネットワーク接続(有線または無線)が挙げられる。
システムインタフェース304は、撮像モダリティ204および針誘導制御装置202のうちの1つまたは複数のための通信インタフェース(電子接続)を提供する。システムインタフェース304は、フィールドプログラマブルゲートアレイ(FPGA)またはその他のPLD、離散構成要素、集積回路(例えば特定用途向け集積回路(ASIC))、あるいはこれらの任意の組合せを含むその他の任意の構成要素などのプログラマブル論理デバイス(PDL)とともに使用されるプログラマブル論理を含むことがある。ユーザインタフェース303およびシステムインタフェース304の機能は、少なくとも部分的には、記憶装置302に記録されたコンピュータ実行可能命令によって実現することができる。CPU301は、記憶メモリ302に記憶されたコンピュータ実行可能命令を読み取って実行するように構成された1つまたは複数のプロセッサ(例えばマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ)で構成される。コンピュータ実行可能命令は、本明細書に開示する新規のプロセスアルゴリズム、方法、および/または計算を実行するための命令を含むこともある。特に、CPU301は、本開示の他の箇所でさらに詳細に説明するように、図2および図4に示すワークフロープロセスで表されるナビゲーションソフトウェア201を実行し、図6Aから図6Fに示す自動基準位置合わせプロセスを実行する。
動き補償を行う臨床ワークフローおよび動き補償を行わない臨床ワークフロー(Clinical Workflow With and Without Motion Compensation)。
一実施形態では、図4に示す臨床ワークフローは、アブレーション針をMRI誘導下でターゲットの障害に導入するプロセスを示している。このワークフローは、処置の間を通じて患者を患者テーブル上に留めるが、画像を取得するときのみスキャナのガントリ内に移動させ、その他のステップはガントリの外部で実行する、「イン(in)/スキャンアウト(scan−out)/アジャスト(adjust)」手法に基づいている。このワークフローは、計画(ステップ404から408)、デバイス/画像間位置合わせ(ステップS410から416)、デバイス制御(ステップ420から422)、および針は位置または挿入(図4のステップ424から432)からなる。このワークフローは、許容可能な針配置精度が得られるまで、繰り返し実行することができる。
計画(Planning)。
計画段階は、手術室110および患者10を準備することを含む処置準備を含む。例えば、看護師は、麻酔カートおよびプローブ182を含むアブレーションシステムを手術室110に移動させ、制御室ユーザ14に、上記のプローブを収容した新たなプローブ誘導パッケージを渡すことができる。また、看護師は、患者10を手術室110に移動させ、患者を撮像モダリティ204のガントリ上に位置決めすることもできる。麻酔医は、患者10に麻酔をかけて、医療処置を痛みなく行うことができるようにし、また患者の動きを減少させることができる。次いで、看護師は、プローブ182の所期の皮膚挿入点とその周囲に滅菌領域を形成し、患者の皮膚の滅菌領域に挿入点をマークすることができる。患者の皮膚にマーキングすることにより、物理的寸法を、撮像モダリティ204が走査した画像内で医師が見るものと相関させる助けになる。患者10の準備ができた後、この準備は、針誘導システムを起動し、ナビゲーションソフトウェア201を開始することを含むこともある。これは、制御室ユーザ14がサーバ200の電源を投入すること、ナビゲーションソフトウェア201を開始すること、およびグラフィカルユーザインタフェース(GUI)を介してシステムにログインすることを含むことがある。ログインすると、制御室ユーザ14は、例えば病院情報システム(HIS)、放射線科情報システム(RIS)、または画像保管通信システム(PACS)などの遠隔デバイスから患者10についての情報を受信することによって、新たなケースを開始することができる。患者情報は、当該新たなケースに入力される、名前および医療記録番号(MRN)などの情報を含むことがある。さらに、この準備は、針誘導デバイス180を収容する新たなプローブ誘導パッケージのバーコードをスキャンすること、および誘導デバイス180およびプローブ182を妥当性検査することも含むことがある。
麻酔状態の患者が撮像モダリティ204のガントリ内に位置決めされている状態で、ナビゲーションソフトウェア201は、MRIスキャナに、患者のマーク領域を含む領域のスカウトスキャンを行わせる。スカウトスキャンは、検査の実際の大部分を実行する前に得る予備画像である。スカウトスキャンは、直接診断用ではなく、軸方向スライスを規定し、スライス位置を表示するために一般に使用される参照画像である。例えば関心領域が視野内に含まれることを確かめる、露光技術を確認する、またはコントラスト剤を投与する前に基線を得るなど、スカウトスキャンを得る理由はいくつかあることがある。ステップ404のプロセスでは、スカウトスキャンは、関心領域が撮像モダリティ204の視野内に含まれることを確かめる働きをする。
スカウトスキャンが得られたら、ステップ406で、医師は、患者の3D MR画像(計画画像)上でターゲットおよび皮膚挿入点を指定することによって、針挿入軌道を規定する。医師は、この3D画像を軌道に沿った任意の平面で再スライスすることによって軌道を点検し、ターゲットの周囲に重要な構造および/または障害物がないことを保証することができる。ナビゲーションソフトウェア201は、計画画像をユーザインタフェースおよびディスプレイ230に出力し、計画画像の断面を任意の平面に沿って表示し、医師がディスプレイ上で画像に触れることによって、またはマウスを用いて画像をクリックすることによって、点を指定することができるようにする。軌道が規定されたら、ナビゲーションソフトウェア201は、その軌道に沿った平面で3D画像を再スライスして、その経路の周囲に重要な構造および障害物が存在しないと医師が判定することができるようにすることができる。計画プロセスについてのさらに詳細な説明は、参照によりあらゆる目的のために本明細書に組み込む「MULTIPLE PROBE ABLATION PLANNING」と題する本出願人の米国特許出願第16027093号に記載されている。挿入軌道が計画されたら、ステップ408で、医師は、針誘導デバイス180を患者の体に装着することができる。
デバイス/画像間位置合わせ(Device-to-Image Registration)。
ナビゲーションソフトウェア201は、手術中画像(位置合わせ画像)上で誘導デバイス180に取り付けられた基準フレーム(基準マーカ184)を検出することによって、針誘導デバイス180を画像座標系に対して位置合わせする。このアルゴリズムの詳細は、図4に示し、本明細書で説明する。デバイスが位置合わせされたら、医師は、全てのターゲットが誘導デバイス180のターゲティング範囲内にあるかどうかを確認することができる(例えば、図5A、図5B、図5C、および図5D参照)。基準マーカの位置合わせの結果は、例えばOpenIGTLinkプロトコルを使用したネットワークを介して制御装置に伝達される。
デバイス制御(Device Control)。
ナビゲーションソフトウェア201は、OpenIGTLinkプロトコルを使用したネットワークを介して現在のターゲットの座標をデバイス制御装置202に送信する。また、ナビゲーションソフトウェア201は、挿入深さなど、医師が針を配置するために必要な情報を表示する。
針配置モニタリング(Needle Placement Monitoring)。
医師は、針を配置した後で取得された画像(確認画像)と計画軌道とを比較することによって、針の配置を視覚的に確認することができる。確認画像は、デバイスを新たなターゲット位置と再位置合わせするためにも使用することができる。挿入された針の位置および配向は、自動または手動検出方法を使用して決定することができる。この情報は、様々に使用することができる。挿入された針の位置および配向を示す確認画像を使用して、挿入の精度を評価することができる。特に、誘導デバイス180が円形の基準フレームを含むときには、針は、挿入角度にかかわらず、必ず基準リングの中心と交差することになる。したがって、挿入された針の軌道は、計画挿入軌道と一致するはずである。しかし、挿入された針の軌道が計画挿入軌道と一致しない場合には、任意の平行偏移を用いて、新たな(後続の)画像に対する針誘導デバイスの位置合わせを改善することもできる。
再位置合わせ(Re-Registration)。
いくつかの例では、患者の位置が処置中に大きく変化しない限り、位置合わせ画像は、計画の一部として一度だけ取得される。ただし、他の例では、(例えば最初の位置合わせの後、デバイスが所望の位置をターゲティングした後、あるいは最初またはその後の針配置の後に)処置中の再位置合わせが必要であることもある。再位置合わせは、患者が処置中に大きく動いた場合に特に有用である。確認画像の視野がデバイスに埋め込まれた基準マーカをカバーするのに十分な大きさである場合には、デバイスは、最も最近の確認画像と再位置合わせすることができる(図4では破線で示す)。この再位置合わせプロセスでは、ターゲット位置に対するデバイスの現在の位置および配向を反映するように、針の配置を更新し続けることになる。このようにして、ナビゲーションソフトウェア201は、患者の動きまたは器官の変位によるデバイスの変位またはターゲット位置の変位を補償することになる。この動き補償技術を実際に使用するためには、ロバストで高速な自動位置合わせプロセスが、特に有用である。例示的な基準に基づくデバイス/画像間位置合わせアルゴリズムは、米国特許公開第2017/0000581号に記載されている。ただし、いくつかの場合には、予期しない患者または器官の動きを説明し、それにより精度を向上させるために、再位置合わせが必要になる。
さらに詳細には、医療用撮像を使用して、3D患者座標空間内で患者の画像を取得する。患者座標空間の原点(0,0,0)は、患者の「ランドマーキング(landmarking)」と呼ばれるプロセスによって規定される。このプロセスでは、医師または技師は、患者のベッドを動かして、関心のある解剖学的構造をスキャナ上のレーザ光と位置合わせする。適所に配置されたら、患者座標空間の原点を規定するランドマークボタンを押す。本開示では、患者のランドマーキングが処置の開始時に一度だけ行われ、その後の患者のスキャンでは同じ患者空間の原点の規定を共用するものと仮定する。後続の位置合わせ間に再ランドマーキングが行われた場合には、患者座標空間を画像間で一致させるために、画像間位置合わせが必要になる。
本開示では、針誘導デバイスの位置合わせは、経皮的処置の計画の一部として一度だけ行われることが多い。デバイスの位置合わせにより、患者の撮像した解剖学的構造に関する所望のプローブ/針の挿入点およびデバイスの先端/傾斜を規定する。この位置合わせは、患者が処置の残りの部分を通じて動かないと仮定すれば、有効なままとなる。しかし、実際には、患者が動くことはよくあることであるので、経皮的計画(挿入点およびターゲット点)を更新するために患者装着式デバイスの再位置合わせが必要になる。患者の動きは、患者の大きな平行移動(例えばスキャナのベッドに関連する患者の動き)と、例えば呼吸などによる小さな患者/器官の動きという、2つのカテゴリに分類することができる。再位置合わせは、どちらのタイプの動きが起こったかを評価するための重要な手段であり、これに従って経皮的処置計画を更新することができる。
2回の連続したデバイス位置合わせのデバイス挿入点の間の距離は、発生した患者の動きの種類を示している。連続した位置合わせの間の挿入点の移動が小さい(例えば3mm未満)である場合には、患者の呼吸によるデバイスの移動であることを示している。したがって、この小さな移動に基づいて、経皮的処置計画で再位置合わせしたデバイス挿入点を更新して、計画を有効に保つことになる。呼吸による小さなデバイス移動では、経皮的計画でターゲット点を更新する必要はない。しかし、連続した位置合わせの間でより大きなデバイス挿入点の移動(例えば3mm超)が発生した場合には、有意な患者の平行移動が発生している可能性が高い。この場合には、経皮的処置の計画において、再位置合わせしたデバイス挿入点を更新することになる。このデバイスは患者装着式であり、デバイスとターゲット器官の間の関係は患者が大きく動いても維持されることになるので、ターゲット点も、同様に、デバイス挿入点と同じ正味の平行移動で更新することになる。このデバイスの再位置合わせ、ならびに挿入点およびターゲット点の自動更新によって、ユーザからの対話なしで処置中を通じて計画が有効に保たれる。
論理制御層(Logical Control Layer)
論理制御層(LCL)206は、システムの中間層であり、ナビゲーションソフトウェア201と下位レベルの物理制御層(PCL)208とのインタフェースとなる。制御装置202は、針誘導デバイスのハードウェアおよび運動学的構造をカプセル化することができ、したがって、デバイスから独立したアプリケーションプログラムインタフェース(API)を上位層に提供するために、LCL206は、以下のサブ構成要素からなる。
上位層とのTCP/IPネットワークインタフェース(TCP/IP network interface to the upper layer)。
このインタフェースを介して、LCL206は、ターゲット位置など、上位層からハードウェアへのコマンドを受信し、針ガイドの現在位置、およびデバイス状態など、ハードウェアの現在状態を上位層に提供する。また、LCL206は、運動学的計算(以下のキネマティクスエンジン参照)の結果として得られる所要針挿入深さも、上位層に提供する。このインタフェースの特有の特徴は、LCL206が、基準フレームの構成を、基準に基づくデバイス/画像間位置合わせが行われる上位層に提供して、上位層をハードウェアから独立した状態に保つことである。本実施形態のネットワークインタフェースは、OpenIGTLinkプロトコルに準拠しているので、OpenIGTLinkに適合する実質的に任意のソフトウェアと通信することができる。OpenIGTLinkプロトコルについての詳細は、徳田淳一他による「OpenIGTLink:an open network protocol for image−guided therapy environment」、Int J Med Robot、5(4):423−34、2009年12月に記載されている。
キネマティクスエンジン(Kinematics engine)。
上位層から受信したハードウェア独立コマンドを、次いで、針誘導デバイスの運動学に基づいて個々のアクチュエータのターゲット位置に変換し、PCLに送信することができる。一方、本実施形態では、PCIから受信する個々のアクチュエータの現在位置は、針ガイドの位置および配向に変換され、上位層に送信される。
下位層とのシリアルインタフェース(Serial interface to the lower layer)。
LCL206は、ユニバーサルシリアルバス(USB)またはデバイス特有回路を介して下位層のサブ構成要素と通信する。この例示的なインタフェースを介して、個々のアクチュエータのターゲット位置およびその他のデバイス特有コマンドが、PCL208に送信され、デバイスの現在状態および個々のアクチュエータのエンコーダの読みが、LCDに送信される。このインタフェースを介して交換される情報は、運動学的構造に依存しているが、物理ハードウェア(例えばモータドライバおよびエンコーダ)からは独立している。
物理制御層(Physical Control Layer)
物理制御層(PCL)208の役割は、物理入出力(I/O)からは独立しているが、運動学的構造には依存しているインタフェースを提供することである。いくつかの実施形態では、PCLは、デバイス制御サーバと通信するためのUSBインタフェースと、エンコーダおよびフットスイッチからの入力を読み取り、個々のモータのターゲット速度をモータドライバに与えるデジタル入出力インタフェースとを備えた、Linuxベースの組込型コンピュータ上で動作する。制御装置は、個々のアクチュエータのターゲット位置を受信すると、個々のモータの閉ループPID制御を実行して、針誘導デバイスの2つのリングを指定された位置に位置決めする。このプロセスの間、PCLは、任意選択で、リングの現在位置およびその他のデバイス状態を送信し続けることもできる。
III.全自動の基準に基づくデバイス/画像間位置合わせ(Fully-Automated Fiducial-Based Device-to-Image Registration)
基準フレームの構成(Configuration of Fiducial Frame):基準フレームは、複数の基準マーカ(例えば図1に示すマーカ184)を含む。これらのマーカは、全て球形マーカにするなど、全て同じ形状およびサイズにしてもよいし、あるいは基準フレームが様々なサイズおよび/または形状を有する基準マーカを含んでいてもよい。リング状に配置される場合には、基準マーカは、非対称に配置される。いくつかの実施形態、特に様々な形状の基準フレームを使用する実施形態では、球形の基準マーカオブジェクトは2D画像でも3D画像でも認識しやすいので、複数の球形基準マーカが有利であると考えられる。
本願では、デバイス/画像間位置合わせは、いくつかの実施形態では、誘導デバイス180に取り付けられたMR可視基準フレーム(基準マーカ184)をMR画像中で検出し、基準フレームモデルを検出したフレームと位置合わせすることによって行った。この手法の問題は、患者の体の一部など、視野内に他の物体があるかどうかに関わらず、MR画像上の全てのマーカ(または少なくとも最小数のマーカ)を正確に識別しなければならないことである。誘導デバイス180のリング状部材に沿って円形構成で位置合わせされた複数のMR可視球形マーカ184からなる基準フレームと、基準フレームを検出して位置合わせするアルゴリズムとを開発した。このアルゴリズムは、それぞれ特有の直径dMを有する球形マーカと、これらのマーカの円形構成とに依拠している。基準フレームを検出するために正確に識別しなければならないMR画像上のマーカの最小数は、誘導デバイス上のマーカの配置によって決まることがある。いくつかの実施形態では、医療用誘導デバイスで使用される基準フレームは、クラスタ状の基準マーカで構成される。1個、2個、3個、4個、5個、6個、7個、または8個以上のクラスタがある可能性がある。各クラスタが異なる数の基準マーカを有する、異なる大きさの基準マーカを有する、異なる形状の基準マーカを有する、異なる構成で配置された基準マーカを有する、または異なる材料特性を有する基準マーカを有する場合には、各クラスタを互いに区別することができる可能性がある。クラスタは、単一の基準マーカしか含まないこともあるし、あるいは2個、3個、4個、5個、5個、7個、または8個以上の基準マーカを含むこともある。クラスタの数、および/または各クラスタ中のマーカの数は、基準が配置されている医療デバイスのサイズに対する基準の相対的なサイズによってのみ制限される可能性がある。図5Dに例示するように、基準フレームは、各クラスタが異なる数(3および4)ならびに異なる配置の基準マーカを有する、4つの異なるクラスタを有することがある。これらのマーカ184のうちの少なくとも一部が円C状に配置されている場合(例えば円Cが少なくとも3つのマーカに一致する場合)には、基準フレームモデルを誘導デバイスに含まれる検出したフレームと位置合わせするプロセスは、迅速かつ正確に行われる。
基準フレームモデルを誘導デバイスに含まれる検出したフレームと位置合わせするプロセスを、図6Aから図6Fに視覚的に例示する。自動基準位置合わせの概要は、図6Aから図6Fにそれぞれ示す以下のステップ(a)から(f)を含む。(a)円状に位置合わせされた複数のMR可視マーカを備えた基準フレームモデルの構成。基準座標系の原点は、この円の中心にあり、x軸は、原点から第1のマーカまでの円によって規定される。z軸は、この円の中心に対して直交している。(b)誘導デバイスに埋め込まれたマーカを、MR画像中で球形オブジェクトとして検出し、画像座標系(右前上またはRAS)を使用して符号化する。(c)主成分分析を使用して、検出したマーカに平面を当てはめる。(d)検出したマーカに最もよく当てはまる円を決定する。(e)z軸の周りで基準フレームモデルを回転させて、モデル中の対応するマーカとフレームの検出したマーカの最も近い対の間の距離を最小にする。(f)基準フレームを検出したマーカと位置合わせする変換を決定する。
一実施形態では、球形マーカを使用する。これは、画像上の球形マーカが、配向にかかわらず画像処理によって検出することができ、またそれらの作製が容易であるからである。ただし、他の形状の基準マーカも、同様に使用することができる。球形マーカの例示的な用途は、Gd−DTPA溶液で充填した約10mmの半径を有する3D印刷した球形液体容器である。円形構成は、米国特許第9222996号に記載されるデバイスなどの2重リング針誘導機構に適している。
図6Aに示すように、球形マーカは、直径DFを有する円形構成で位置合わせされ、この構成が非対称になるように不規則に離間して、位置合わせに一意的な解を与えるようになっている。基準フレームの原点が円の中心にあり、そのz軸が円の平面に対して直交するものとすると、i番目のマーカ(M)の座標は、次のように数式(1)で規定することができる。
いくつかの実施形態の基準マーカは球形であるが、この用語は、完全な球形を意味するものではない。完全な球体ではなくても、基準マーカを球形を有し、オブジェクトの強調を適用するものとして規定する本明細書の以下で述べるアルゴリズムの能力を危殆化するほど誤差の量が大きくない、実質的に球形の形状であれば許容可能である。
IV.基準マーカの検出(Detecting Fiducial Markers)
特徴の強調(Feature Enhancement)。
球形マーカの形状を有する画像オブジェクトを強調して、次のステップの特徴抽出によるマーカ検出の成功率を向上させることができる。特徴の強調を行う方法は、多数ある。画像オブジェクトを強調する1つの一般的な手法は、微分に基づく演算であり、隣接するボクセルの1次または2次の空間導関数を計算して、画像の特定の特徴を強調または抑制する。
いくつかの実施形態では、特徴の強調は、各ボクセルごとにガウス関数の1次の導関数を計算して、画像上のオブジェクトのエッジを抽出する、Canny法によるエッジ検出[Canny J.によるA Computational Approach To Edge Detection、IEEE Trans. Pattern Analysis and Machine Intelligence、8(6):679−698、1986年]などの微分に基づく演算である。Canny法によるエッジ検出後は、画像上の任意の形状は、輪郭が描かれているので、次のステップで検査して、特定の形状を検出することができる。
球形マーカの検出(Detection of Spherical Markers)。
いくつかの実施形態では、特徴の強調は、Frangiによって提案されたフィルタである微分に基づく演算である[Frangi AF他によるMed. Image Comput. Comput. Interv.(MICCAI’98)、Lect. Notes Comput. Sci. Springer Verlag;1998年、p.130〜7]。これは、Sato他およびLorenz他によって提案された「ベッセルネス(vesselness、血管らしさ)フィルタ」の一般化形態である。この演算では、ヘッシアン行列の固有値に基づいてグレースケール画像上の各領域に管状、板状、または小塊状構造が存在する可能性を決定する。これらの実施形態の1つの実施態様では、Antigaによって実施されたFrangiの手法[Luca Antiga、Generalizing vesselness with respect to dimensionality and shape、The Insight Journal、2007年]をInsight Segmentation and Registration Toolkit(ITK)のC++クラスとして使用する。本明細書における発明者等による実施態様では、ベッセルネスをさらにオブジェクトネス(objectness、オブジェクトらしさ)として一般化して、この3つの異なる構造を、N次元画像中のM次元構造として扱う(すなわち、小塊の場合はM=0、管の場合はM=1、板の場合はM=2)。発明者等は、M=0のオブジェクトネス関数を適用して、画像上の明るい球形マーカを強調した。
強調したオブジェクトを、次いで、ハフ変換[Duda RO、Hart PE.Comm.ACM.1972年;15:11−5]で検出する。ハフ変換アルゴリズムは、直線、円、および楕円などのパラメータのセットで表される特定の形状を有する画像オブジェクトを抽出するために使用される。このアルゴリズムは、3D画像中の球形オブジェクトの検出に適用することができる。球の表面は、(x−a)2+(y−b)2+(z−c)2=r2としてパラメータ化することができる。ここで、a、b、c、およびrは、球の中心位置および半径を規定するパラメータである。ハフ変換は、アキュムレータ空間と呼ばれるパラメータ空間を使用した「投票」手順である。投票手順において、このアルゴリズムは、元の画像中の候補オブジェクト(すなわち高強度領域)中の各点を検査し、その所与の点を含む表面を有する全ての球のパラメータのセット(a;b;c;r)を計算する。次いで、各パラメータセットを、アキュムレータ空間にマッピングして、投票を行う。このマッピングプロセスの後、アキュムレータ空間上で、球形オブジェクトを高密度領域として識別することができる。本願の基準マーカ検出では、発明者等は、rをr=dM=2に制約する。ここで、dMは、球形マーカの直径である。発明者等は、Mosaliganti他によるITK位置合わせツールキットで実施された3Dハフ変換アルゴリズムを使用した。このステップの終点は、図6Bに示すように、各球形オブジェクトの質量中心の位置である。
V.位置合わせ(Registration)
検出した基準マーカに対する基準マーカモデルの位置合わせ(Registration of Fiducial Marker Model to Detected Fiducial Markers)。
デバイス/画像間位置合わせの次のステップは、マーカのモデル(図6A)を、検出された誘導デバイスに埋め込まれたマーカとマッチングすることである(図6B)。このステップは、1)検出したマーカに2次元平面を当てはめる(図6C)、2)検出したマーカが位置合わせされる円を推定する(図6D)、3)外部のマーカ(円内にないマーカ)を検出して除去する、4)モデル円を推定円にマッチングする(図6E)、および5)モデルと検出したマーカとを一致させる回転を発見する(図6F)という、5つのサブステップからなる。
第1のサブステップ(図6C)は、主成分分析(PCA)を用いて行われる。PCAでは、第1の軸に沿って最大の分散が出現し、第2の軸に沿って2番目に大きな分散が出現し、第3の軸に沿って最小の分散が出現する、新たな座標系を発見する。したがって、これらの点に当てはめられる平面は、第1の軸および第2の軸によって規定される。検出したマーカの座標をX=(x1,x2,…,xN)とすると、主成分分解は、次の数式(4)で定義される3×3行列Wを使用して与えられる。
第2のサブステップでは、円上の少なくとも3つの異なる点によって規定される2本の弦の直交する2等分線の交差点によって、マーカの中心を推定する。検出したマーカから選択される3つのマーカをP1、P2、およびP3とすると、P12とP23の直交する2等分線の交差点は、次の数式(5)で得られる。
第3のサブステップでは、画像のノイズまたは球形オブジェクトによって誤って検出されたオブジェクトを、1)円の推定中心からの距離と円の既知の半径の間の誤差(半径誤差)、2)円の推定平面からの誤差(面外誤差)、および3)他の3つの検出オブジェクトから推定した擬似中心からの距離と円の既知の半径の間の誤差(公差検証半径誤差)という3つのメトリクスに基づいて反復的にフィルタリングによって除去する。規定の誤差マージンを超える最大の誤差を有するオブジェクトは、偽オブジェクトとして除去する。次いで、円の中心および平面を再計算し、その後に、次の偽オブジェクトを探索する。発明者等が実施した例では、半径誤差については20%の誤差マージンを使用し、面外誤差については2mmの誤差マージンを使用した。20%の誤差マージンは、基準マーカを収容する針誘導デバイスの寸法に基づいて決定した。デバイスの外部に偽オブジェクトがあれば、20%を超える誤差を生じることになるからである。2mmという面外誤差は、考えられるスライスの厚さに基づいて決定した。
第4のサブステップにおいて、モデル内の円を検出したマーカに当てはめる変換は、数式(7)で与えられる。
発明者等は、当てはめの適合度を、変換後のモデルマーカと検出したマーカの間の最も近い点の平均二乗距離として規定する。
θは連続的なパラメータであるが、発明者等は、変換後のモデルマーカのうちの少なくとも1つは、検出したマーカのうちの1つと常に一致すると仮定することによって、探索空間を制限することができる。第1のモデルマーカをi番目の検出したマーカと一致させるためには、以下のようになる。
最後に、解θをTθ(p)に代入することによって、位置合わせ変換を計算することができる。
基準フレームで球形マーカを使用するときには、ベッセルネス関数をM=0として基準フレームの画像に適用して、明るい球形構造を強調する。フレームで管状マーカを使用するときには、ベッセルネス関数をM=1として適用して、これらを強調する。
いくつかの実施形態では、基準マーカオブジェクトは、特徴強調動作を適用するステップを行わずに検出される。特徴強調動作を適用するステップおよびその他のオブジェクト強調ステップは、特徴抽出のロバストネスを高めるために使用される。しかし、いくつかの実施形態では、特徴抽出アルゴリズムが、このステップを行わなくてもマーカを他のオブジェクトと区別することができることがある。したがって、いくつかの実施形態では、画像データ内の基準マーカオブジェクトを検出するステップは、特徴抽出を適用して基準マーカオブジェクトを抽出することと、各基準マーカオブジェクトについて代表点を規定することとを含む。
各オブジェクトについて、代表点を決定する。この代表点は、質量中心であってもよい。代表点を規定するその他の方法は、例えば、各基準マーカオブジェクトの最上点を選択する、焦点を計算する、(例えば円錐の)頂点を計算する、またはこれらに類するその他の方法である。
基準マーカモデルの再位置合わせ(Re-Registration of Fiducial Marker Model)。
上述の検出、強調、および位置合わせプロセスで、正確なデバイス/画像間位置合わせに十分であることもあるが、変位がある場合には、再位置合わせが必要になることも多い。再位置合わせが必要かどうかを判定するこのプロセスは、図4のステップ418および424に記載されている。図4に示すように、臨床ワークフロープロセスの第1のステージは、計画ステージであり、このステージでは、ステップ404で、計画画像(例えばMRIまたはCT画像)を取得し、ナビゲーションソフトウェアに転送する。次いで、ステップ406で、ユーザが、ナビゲーションソフトウェア201のユーザインタフェースおよびディスプレイ230で挿入点およびターゲット点を規定する。この規定後に、ステップ408で、針誘導デバイス180などの医療デバイスを、患者の体に装着する。この計画ステージの後で、医療デバイスを、上記で説明した原理に従って位置合わせする。位置合わせプロセスでは、最初のステップ410は、撮像モダリティ204を使用して位置合わせ画像を取得し、この位置合わせ画像をナビゲーションソフトウェア201に転送することである。次いで、ステップ412で、ナビゲーションソフトウェア201が、自動基準マーカ位置合わせを実行する。
次のステップ414で、システムは、ターゲットが針誘導デバイス180の動き範囲内にあるかどうかを判定する。この動き範囲は、針誘導デバイス180の機械的制約に基づいてソフトウェアまたはユーザが規定する、既定の値とすることができる。あるいは、動き範囲は、行う処置の種類の必要に応じて、例えば医療デバイスの仕様に基づいて確立することもできる。例えば、動き範囲は、処置で使用するプローブの数に従って、または処置に必要な挿入点の数に従って、確立することができる。いくつかの実施形態では、ステップ414の疑問は、ユーザの判断を手作業で入力できるようにするプロンプトによってユーザに対して示される。あるいは、ステップ414で、ナビゲーションソフトウェアが、自動判断を確認する、または無効にする能力をユーザに提供することもできる。
図5A、図5B、図5C、および図5Dは、2D表現および3D表現で針誘導ロボット(誘導デバイス)と患者の間の関係を提示するナビゲーションソフトウェアのグラフィカルユーザインタフェース(GUI)の画像である。図5Aは、誘導デバイスの円錐形到達可能領域を画像および選択したターゲットに重ねた、患者の軸方向スライスを示す。図5Bは、スライス画像(例えばCT画像)と位置合わせされた誘導デバイス180の3D表現である。位置合わせされた誘導デバイス180は、ターゲット(例えば腫瘍の中心)に到達するための計画軌道とともに示されている。円錐形状は、デバイスの到達可能領域(範囲)を表している。GUIは、特に、図5Bおよび図5Cでは、現在位置にある針誘導ロボット(誘導デバイス180)でターゲティングすることができる、ターゲットについてのこの範囲および計画軌道のレンダリングを示している。図5Aおよび図5Cは、それぞれ、元の画像および再フォーマット化MR画像におけるこの範囲を示している。図5Cは、図5Aに示すのと同じ軸方向スライスであるが、挿入された針のシミュレーションも示している。図5Cでは、ターゲットの方向の黒色のアーチファクトが、画像中の挿入された針の位置を表している。図5Dは、誘導デバイス180の基部と平行な平面による斜めのスライスを表している。明るい球形マーカオブジェクトは、デバイス180の基部に位置し、ステップ412で位置合わせに使用される基準である。図5Dは、基準マーカ184の生MR画像を示しており、この画像をオペレータが点検して、マーカが十分に画像でカバーされていることを確認する。これらの重ね合わせにより、ステップ414で、ターゲットが到達可能ゾーン内にあるかどうかを迅速に視覚化し、ユーザが判定することができる。
針誘導デバイス180の動き範囲が所望のターゲットに到達するのに不十分である場合(ステップ414でNOである場合)には、ナビゲーションソフトウェアは、計画ステージのステップ408に戻り、医療デバイスを患者の体に装着する、または医療デバイスを患者の体の上で移動させる。ステップ414で、動き範囲が所望の1つまたは複数のターゲットの全てに到達するのに十分である場合には、このプロセスは、ステップ416に進む。ステップ416で、ナビゲーションソフトウェアは、位置合わせの結果を誘導デバイス制御装置202のPIDに送信する。その後、このプロセスのデバイス制御部分が開始する。最初に、ステップ420で、所与のターゲットの座標をデバイス制御装置202に送信する。次に、ステップ422で、針誘導デバイス180などの医療デバイスを、(例えば処置の前に、または計画プロセスの一部として規定された)指定軌道に駆動する。
このプロセスの次の部分は、針の配置(針の挿入)である。最初に、ステップ426で、誘導デバイス180を使用して、プローブを手作業で挿入する。もちろん、いくつかの実施形態では、自動アクチュエータ(図示せず)を使用して、プローブを機械的に挿入することもできる。ステップ428で、ナビゲーションソフトウェア201は、確認画像を取得する。確認画像は、針が計画軌道の所望の距離だけ完全に進んだ後で取得してもよいし、あるいは針が挿入軌道に沿って所定の距離だけ進んだ後で漸進的に取得してもよい。いずれの場合も、確認画像を取得した後は、ステップ430で、ナビゲーションソフトウェア201は、針の配置が十分に正確であるかどうかを判定する。これは、観察に基づくユーザの判断であってもよいし、自動的なソフトウェアの判断であってもよい。この判断は、針が計画軌道に従って進んでいるかどうか、針が計画したターゲット位置に到達したかどうか、または針の先端がターゲット位置から所定の距離内にあるかどうかに基づくことができる。物理的な針形状のプローブは一定の寸法を有するので、プローブの先端は、例えば0.2mmから2.0mm以上などの直径を有することがある。これに関連して、ステップ430で、ソフトウェアアプリケーションは、針が計画したターゲット位置に到達したかどうか、または針の先端がターゲット位置から所定の距離内にあるかどうかを判定する際に、プローブのサイズ(直径)を考慮に入れることができる。この目的のためには、表示画像を観察することによって、挿入中に針の位置を連続的にモニタリングすると有利である。偏移がある場合には、ユーザによって設定される針誘導デバイス180の円弧角度を調節することによって、任意の角度偏移を補正することができる。偏移があるときには、ナビゲーションソフトウェア201が、偏移を見込むためにどのようにすれば円弧角度を調節することができるかについて、ユーザに指示することができ、例えば、システムは、ある角度(例えば±2度、±5度など)だけ円弧角度を調節するようにユーザに促すことができる。
430の判断がNOである場合(針の配置がOKでない場合)には、このプロセスは、ステップ424に進み、このステップで、再位置合わせが必要かどうかを判定する。ステップ424で、再位置合わせが必要でない場合(ターゲット位置の変位が最小である場合)には、このプロセスの針配置部分(挿入部分)を継続する。再位置合わせが必要である場合(例えばターゲット位置の変位が有意である場合)には、ステップ410で、このプロセスの再位置合わせ部分を再度開始し、ステップ410以降のワークフローを繰り返す。
ステップ430の判断がOKである場合(針の配置が許容可能である場合)には、第1の針の配置のプロセスを完了する。したがって、ステップ432で、必要な場合には、第2の(または後続の)ターゲットについてのプロセスを開始する。新たなターゲットのための挿入が必要であるとき(ステップ432でYESであるとき)には、このプロセスの最初の疑問は、ステップ418で発生する、再位置合わせが必要であるかどうかである。ステップ418でNOである場合には、このプロセスのデバイス制御部分と、その後の針配置部分とを、次のターゲットについて実行する。ステップ418でYESである場合には、このプロセスは、ステップ410に進み、このプロセスの位置合わせ部分を実行する。この目的のために、ナビゲーションソフトウェア201は、識別した全ての針と、各針がどのターゲット/挿入経路に属するかとを常に把握しておくことができる。挿入される針が増えると、ユーザが医療画像中で現在の針をそれ以前の針と区別することが困難になる可能性がある。したがって、一実施形態では、ナビゲーションソフトウェア201は、以前に挿入した針の位置を「記憶」するようにプログラムすることができる。具体的には、ナビゲーションソフトウェア201は、ディスプレイ230に、軌道または針の色分けによって、どの針がどのターゲットに属するかをユーザに対して表示させることができる。ナビゲーションソフトウェア201は、例えば、特定のターゲットに対応する各針に特有の色を割り当てることもできるし、あるいは、どの針がどのターゲットに対応するかを示すラベルを取り付けることができる各針の3Dモデルを配置することもできる。
「クリックアンドドラッグ」方法を使用して仮想プローブを位置決めする可能性も、3D画像から手作業でプローブのセグメンテーションを行う方法として使用することができる。別の方法として、それが再位置合わせに使用される情報であることから、単純に3D画像内の空間内で2つの点を選択してプローブの真の軌道を得ることもできる。ここで述べる色分けを使用して、挿入された針がどのターゲットに属するのかをユーザがより容易に認識し、次のターゲット/針対の処置で再位置合わせが必要かどうかを判断することができるように、画像誘導式処置を強化することもできる。例えば、ターゲットを選択するときに、GUIは、第1のターゲットを青色で提示し、第2のターゲットを赤色で提示し、第3のターゲットを黄色で提示することもできる。その後、この色は、ターゲットが提示されるGUI中の任意の箇所、例えば3D医療画像中、または「ターゲットリスト」中に、出現することができる。そのため、3D医療画像中でプローブを視覚化すると、視覚化された(挿入中の)プローブも、それが属するターゲットと同じ色を有することになる。視覚化軌道および対応するターゲット位置を表示するために色コードを使用することにより、計画挿入軌道と真の挿入軌道の間の偏移の決定を強化することもできる。このようにして、ユーザが偏移が起きていると判定すると、再位置合わせが必要になる。さらに、3Dまたはスライス画像中に色分けによって図示することにより、ユーザは、再位置合わせが必要かどうかに関する判定要因になり得る2つ以上の計画プローブ軌道の間の干渉、近接度、または重なり合いを、より容易に認識することができるようになる可能性がある。
再位置合わせが必要かどうかを判定するために、スキャン画像内でセグメンテーション法によってターゲットを分類すること、および既定の期間にわたって撮影された画像のセットについてそのターゲットの位置を比較してターゲティングドリフトがあれば測定することも、使用することができる。器官の動き、患者の呼吸、または患者の動きが位置合わせの精度に大きな影響を及ぼす可能性がある場合に再位置合わせが必要となるシナリオをより良好に識別するために、時間および処理のコストの点で利点があることがある。これらの特定の場合では、画像内のターゲット位置は、指定された画像セグメンテーション技術を使用し、計画挿入点と現在のセグメンテーション済みのターゲットの間の提案軌道を計算し、次いでユーザが質的に、または何らかの客観的ソフトウェア方法によって量的に、提案軌道が依然として有効であるかどうかを判定することによって、自動的に分類することができる。軌道が有効であると考えられる場合には、再位置合わせは、必要でないことがある。ただし、ターゲット位置が指定された程度より大きく移動している場合、または新たな提案軌道が重要な構造を通過するように移動している場合には、より高い信頼度で再位置合わせが必要であると決定することができる。したがって、MRIの高組織解像度を補完する以下の方法を使用して、高速の各画像中の腫瘍ターゲットの位置を識別し、そのターゲットの位置がシフトしたかどうかを判定することができる。
しきい値処理(Thresholding):しきい値処理は、再位置合わせが必要かどうかを判断する最も簡単かつ最も処理負荷の小さい方法である。この方法では、画素値の大きさなど、そのターゲットを周囲から区別することができる腫瘍ターゲットの特有の特徴を使用する。しきい値処理の値は、ユーザが指定してもよいし、アプリオリに定量的に測定してもよい。例えば、腫瘍が特定の画像強度範囲を有する場合には、しきい値処理は、この範囲の外側の画素値の大きさを有する画像の領域を除去することができる。残りの画素の位置を2つの画像の間で比較して、任意の腫瘍変位が発生しているかどうかを判定することができる。
図9Aは、ターゲットしきい値処理を実施して再位置合わせが必要かどうかを判断する例示的なプロセスを示すフローチャートである。図9Aのプロセスは、デバイス制御または針挿入プロセス中にユーザの裁量で開始することができる。あるいは、ナビゲーションソフトウェアを、ユーザに確認を促すようにプログラムすることもできる。いずれの場合も、ステップ902で、ユーザは、初期画像(手術前画像)中でターゲットをクリックすることができる。図4のステップ406において、ユーザによってターゲットが初期画像中で規定されていることを想起されたい。ステップ904で、ナビゲーションソフトウェアは、選択したターゲットと、所定の領域内の周囲の点とについて、画素値の大きさを記憶する。ここで、この所定の領域は、MRI画像から決定される腫瘍の推定サイズ、あるいは例えば針のサイズおよび/またはターゲットに適用される投与量から決定される推定アブレーション領域に対応することがある。ステップ906で、ナビゲーションソフトウェアは、選択したターゲットおよびその周囲領域の画素特性に基づいて、しきい値処理プロセスを現在画像に適用する。ここでは、ソフトウェアは、各画素において何らかの演算を実行し、各画素ごとに出力を生成する。例えば、このプロセスは、g(x,y)が何らかの大域的しきい値Tでf(x,y)をしきい値処理したものである場合に、f(x,y)≧Tである場合にはg(x,y)=1であり、それ以外の場合にはg(x,y)=0であるという、単純な条件を有することがある。この場合、画素は、その値が1である場合にはターゲットであり、それ以外の場合にはターゲットでない。しきい値は、画素値の大きさ、画素コントラスト、2D画像スライス内の画素座標(例えばクリックされた位置からの距離)、または3D MRI画像内のボクセル座標とすることができる。他のしきい値は、画素値のヒストグラムを使用することもある。OTSUアルゴリズムは、画素値の大きさを使用するしきい値処理の周知の方法である。しきい値は、全体の平均および分散を使用して計算される。このしきい値に基づいて、各画素を0または1に設定する。
ステップ908で、ソフトウェアは、ステップ906のしきい値処理の結果に基づいて、現在画像中で関心ターゲット点を識別する。ステップ910で、ソフトウェアは、例えば共通参照フレームの座標を使用して、初期のターゲットから現在のターゲットへの座標空間変換を適用する。患者座標空間は、処置の開始時に、患者をランドマーキングするプロセスによって規定されるので、ランドマーキング座標を、ステップ910の座標空間変換に使用することができることを想起されたい。ステップ912で、ソフトウェアは、ターゲットの変位が適当なマージン内であるかどうかを判定する。例えば、図5Bに示すように、誘導デバイス180は、針誘導ロボットがターゲット位置に到達することができる範囲が限られている。したがって、ステップ912で、現在のターゲットが針誘導デバイス180の範囲が現在のターゲットに到達するには不十分である位置に変位している場合(912でNOである場合)には、このプロセスは、ステップ916に進み、このステップで、ソフトウェアは、位置合わせが必要であると判定する。この場合には、針挿入処置のためのデバイス制御が中断され、プロセスは、ステップ410に戻らなければならない。ステップ912で、針誘導デバイス180の範囲が現在のターゲットに到達するのに十分である場合(912でYESである場合)には、現在のターゲットが多少変位していても、プロセスは、ステップ914に進み、このステップで、ソフトウェアは、位置合わせが不要であると判定する。この場合には、針挿入処置のためのデバイス制御は、中断なく進行することができる。
クラスタリング(Clustering):クラスタリング法は、画像を設定された数のクラスタに分割し、画像の画素値を各クラスタにグループ化するために使用される反復的技術である。最も単純なシナリオでは、2つのクラスタがあり、一方のクラスタはターゲットを表し、もう一方のクラスタは、画像の残りの部分を表している。画像中の画素値は、画素とクラスタ中心の間の距離を最小にするクラスタに割り当てられる。次いで、クラスタ中の全ての画素を平均することによって、クラスタ中心を計算する。その後、クラスタ間で画素が割り当てし直されなくなるまで、画素を割り当てるループを繰り返し、クラスタ中心を再計算する。クラスタリングプロセスが完了した後で、2つの画像の間のクラスタ中心を比較することができる。現在のターゲットを表すクラスタの中心の位置が、直前のターゲットまたは初期のターゲットと大きく異なる場合には、2つの画像の間で腫瘍の位置が移動していると結論づけることができる。2つの画像間のターゲットの腫瘍の変位が大きい場合には、再位置合わせが必要である。
図9Bは、ナビゲーションソフトウェア201を用いて画像クラスタリングプロセスを実施してターゲットの変位により再位置合わせが必要であるかどうかを判定する例示的なプロセスを示す図である。ステップ922で、このプロセスは、ステップ406で規定された画素値の大きさ、画素値の分布、およびターゲットの背景などの腫瘍特性を事前に知っている状態で開始することができる。ステップ924で、プロセスを簡略化するために、ソフトウェアは、腫瘍ターゲットが1つ(1つのクラスタ)しか存在せず、画像の残りの部分は背景(別のクラスタ)として扱うものと仮定する。ステップ926で、ソフトウェアは、各クラスタの質量中心に対する画素の近接度に基づいて、現在の画像中の画素を第1のクラスタ(腫瘍ターゲット)または第2のクラスタ(背景)に割り当てる。ステップ928で、ソフトウェアは、各クラスタの特性値を再計算する。次いで、ステップ930で、ソフトウェアは、所与のクラスタに新たな画素が追加された後で、クラスタ値が既知の値と密に整合しているかどうか(クラスタ内の画素が類似性を維持しているかどうか)を判定する。ステップ930でYESである場合には、ソフトウェアは、ステップ932で、割り当てられたクラスタ中の画素を維持する。あるいは、ステップ930でNOである場合には、ソフトウェアは、ステップ934で、その画素を新たなクラスタに移動させる。ステップ936で、ソフトウェアは、全ての画素が処理されたかどうか(全ての画素が類似の値のクラスタに割り当てられたがどうか)を確認する。ステップ926から936のプロセスは、新たな画像中の全ての画素が処理されるまで繰り返される。ステップ938で、ソフトウェアは、初期画像または直前の画像中のターゲットの位置を現在の画像と比較して、ターゲットの変位を決定する。ステップ940で、ソフトウェアは、再位置合わせが必要かどうかを判定する。ステップ940のプロセスは、図9Aに示すステップ912、914、および916のプロセスと同様である。
グラフ分割方法(Graph Partitioning Methods):グラフ分割方法は、画像が均質であるものと仮定して、画素の近傍が所与の画素クラスタまたは画素に及ぼす影響をモデル化するものである。これらのグラフ分割方法では、画像を、重み付け無向グラフとしてモデル化する。通常は、画素または画素グループは、近傍の画素間の類似性または非類似性を規定するノードおよびエッジ重みと関連付けられる。次いで、「良好な」クラスタをモデル化するように設計された基準に従って画像を分割する。これらのアルゴリズムから出力されるノードの各区画は、画像内のオブジェクトセグメントとみなされる。グラフ分割方法についての詳細は、例えば、参照により本明細書に組み込む米国特許公開第2010/266175号に記載されている。
図9Cは、ナビゲーションソフトウェア201を用いてグラフ分割プロセスを実施してターゲットの変位により再位置合わせが必要かどうかを判定する例示的なプロセスを示す図である。ステップ950で、このプロセスは、ステップ406で規定された画素値の大きさ、画素値の分布、およびターゲットの背景などの腫瘍特性を事前に知っている状態で開始することができる。これは、ステップ922と同様である。ステップ952で、現在の画像をいくつかのノードおよびエッジに分割する。ステップ954で、ソフトウェアは、ノードまたはエッジの中心に対する近接度に基づいて、現在の画像中の画素を所与のノードまたはエッジに割り当てる。各ノードまたはエッジについて、ソフトウェアは、「グッドネス(goodness、良さ)」モデル基準も規定する。ステップ956で、ソフトウェアは、同じグループのノード間のエッジを有する分割画像に正の重み値を割り当て、別個のグループのエッジに負の重み値を割り当てる。ステップ958で、ソフトウェアは、ノードおよびエッジがステップ954で規定したグッドネス基準に一致するかどうかを判定する。ステップ958でNOである場合には、プロセスは、ステップ960に進み、このステップで、ソフトウェアは、ステップ956でノードおよびエッジに割り当てられた重み値を変更する。新たな重み値を分割画像のノードおよびエッジに割り当てたら、このプロセスは、ステップ954に戻り、このステップで、分割画像中の画素を、再度、近接度に基づいてノードまたはエッジに割り当てる。ステップ954、956、958および960のプロセスは、ノードおよびエッジがグッドネス基準に一致するまで反復する。ステップ958でYESである場合には、このプロセスは、ステップ962に進む。ステップ962および964は、図9Bに示すステップ938および940と同様である。
いくつかの実施形態では、図9Aから図9Cの任意のプロセスは、所与の画素がターゲット領域(または腫瘍)内にある可能性を示す信頼度マップと組み合わせる、または信頼度マップで修正することができる。ターゲットを点として示す代わりに、この信頼度マップを提供することができる。最高の信頼度を有する画素をターゲティングすることにより、特にターゲットが例えば呼吸などによって常に動いているときに、ターゲット領域にヒットする可能性が高くなる。信頼度マップは、2つ以上の以前の画像に対する現在の画像のターゲット領域の変位に基づいて推定することができる。信頼度マップは、基準フレームの再位置合わせから推定することもできる。
いくつかの実施形態では、画像の再位置合わせは、新たな画像(後続の画像)のそれぞれについて自動的に行われる。これらの実施形態では、最初に位置合わせした基準フレームを、再位置合わせした基準フレームと比較することができる(あるいは、再位置合わせした基準フレームを、それより後の再位置合わせした基準フレームと比較することができる)。両者の間の差が設定値より小さい場合には、再位置合わせは不要であり、したがって、後の方の画像は廃棄することができる。この設定値は、状況によって決まるものであり、ユーザが設定してもよいし、ソフトウェアによって予め設定されていてもよい。いくつかの実施形態では、再位置合わせが自動的に行われるときに、2つの位置合わせされた基準フレームの間の差が小さい場合であっても、新たなデータ(後の方の画像)を使用することができる。ただし、このような実施形態では、最初の基準フレームを再位置合わせした基準フレームと比較するステップを含むと有利であることがあり(あるいは、再位置合わせした基準フレームを、それより後の再位置合わせした基準フレームと比較することもできる)、両者の差が設定値より大きい場合には、警告をユーザに与える。この警告により、医師は、患者および/または(患者装着式デバイスに取り付けられた)誘導デバイスが有意に移動しており、さらなるアクションが必要である可能性があることを示しているかどうかを知ることができる。
いくつかの実施形態では、再位置合わせが必要であるかどうかという疑問(ステップ418または424)を尋ねる、またはその疑問への回答を計算する代わりに、処置中に各画像を取得した後で自動的に再位置合わせを実行する。いくつかの実施形態では、再位置合わせが必要であることが分かったときに再位置合わせを行う代わりに(またはそれに加えて)、再位置合わせを定期的に実行する。例えば、再位置合わせは、例えば毎分または数分(もしくは数秒)ごとなど、所定の時間後に行うことができる。この所定の時間は、処置を開始する前にユーザが選択することができる。このようにして、例えば繊細な器官のアブレーションに関係する処置など、より高い精度を必要とする処置では、より高い頻度で再位置合わせを実行することができ、例えば組織の生検に関係する処置など、それほど高い精度を必要としない処置では、より低い頻度で再位置合わせを実行することができる。
いくつかの実施形態では、基準フレームを位置合わせ(または再位置合わせ)した後で、最初に位置合わせした基準フレーム、または以前に検討合わせした基準フレームを、最も最近に再位置合わせした基準フレームと比較して、少なくとも1つの後続の画像データの再位置合わせが必要であるかどうかを判定する。この比較は、ユーザが手作業で行う比較であってもよいし、ソフトウェアプロセスであってもよい。
VI.アプリケーション(Applications)
本明細書に記載する基準マーカ、システム、および方法のためのアプリケーションは、2重リング針誘導デバイスを用いて適用することができる。米国特許第9222996号に記載されるように、2自由度RCM動作は、一方のリング状回転ステージが他方のリング状回転ステージに対して傾斜するように固定角度で互いに結合された2つのリング状回転ステージからなる2重リング機構によって行われる。これらのリング状ステージは、手作業で回転させてもよいし、超音波アクチュエータなどの電子モータによって駆動してもよい。2つのステージを独立して回転させることにより、遠隔運動中心の周りで2つの方向に針ガイドを回転させることができる。
本明細書に提示するシステムおよび方法は、参照によりその全体を本明細書に組み込む米国特許第9222996号に記載の2重リング機構を備えたMRI適合体装着式針誘導デバイスに関連して説明している。ただし、本明細書に記載するシステムおよび方法は、任意の断層撮像に関連して使用される他の患者装着式医療デバイスとともに使用することもできる。例えば、本発明の開示は、例えば米国特許第9408627号または米国特許第9125676号に記載されるサンプルロボットと関連して使用することもできる。
デバイス/画像間位置合わせの妥当性検査(Validation of Device-to-Image Registration)
合成(コンピュータ生成)画像を使用して、様々なデバイスの位置および配向、空間解像度、信号対雑音比(SNR)、ならびにフレーム上の基準マーカの数など、様々な撮像条件下でデバイス/画像間位置合わせの精度、速度、およびロバストネスを評価した。
特注プログラムを使用して、基準マーカの構成を無作為に生成した。このプログラムは、5個から9個の基準マーカを、本明細書に記載するように円形構成に自動的にレイアウトするものである。x方向およびy方向に(−50mm,50mm)の範囲を有し、z方向に(−20mm,20mm)の範囲を有する3つの平行移動パラメータ(x,y,z)と、αおよびγについて(−π,π)の範囲を有し、βについて(−π/2,π/2)の範囲を有するオイラー角(α,β,γ)とを生成することにより、無作為な剛体変換を作成した。平行移動パラメータおよび回転パラメータは、これらの範囲にわたって一様に分布している。なお、他の実施形態では、針誘導デバイスの位置および配向は体表面によって常に制約を受けるので、これらのパラメータの分布は、一様ではなく偏っていてもよい。
92mmの半径を有するモデル基準フレーム上の各マーカの座標に、平行移動および回転を適用した。変換したマーカの合成3Dラスタ画像を、次いで、3D画像上にレンダリングする(マトリクスサイズ:320±272、視野:300±255mm、画素間隔:0:9375±0:9375mm2、スライス厚さ:1、2、3、または4mm)。スライスの数Nslicesは、Nslices=Lz=szで決定した。ここで、Lzは、スライス符号化方向に沿った撮像ボリュームの長さ、szは、スライス厚さである。この実験では、Lz=100mmを使用した。このレンダリングステップでは、合成3D画像を生成するときに、部分容積効果を考慮した。最後に、可変の信号対雑音比を有するガウス形ノイズを合成3D画像に追加することによって、シミュレーション基準画像を生成する。ノイズレベルは、MR誘導式冷凍アブレーション中に取得したMR画像に基づいて決定した。基準フレームの平行移動および回転は、デバイス/画像間位置合わせを使用して、シミュレーション基準画像から推定した。位置合わせの誤差は、基準位置合わせ誤差(FRE)、およびターゲット位置合わせ誤差(TRE)として評価した。発明者等は、ターゲットがベースリング(または円形基準フレーム)の軸上にあり、ターゲットと基準フレームの間の距離が、175mmの針を有する針誘導デバイスではほぼ最大距離となる150mmであるものと仮定した。位置合わせ誤差および計算時間は、フレーム内の基準マーカの数(NM)、スライス厚さ(sz)、およびSNRを独立して変化させて評価した。FRE、TRE、および計算時間の平均および標準偏差(SD)は、1000回のテストに基づいて計算した。位置合わせは、パーソナルコンピュータ(米国カリフォルニア州CupertinoのApple社製のMac Pro(Mid 2010)、Dual six−core Intel Xeon 2.66 GHz processor、40 GB 1066 MHz DDR3メモリ、Mac OS X 10.10.5)で実行した。データは、平均±SDとして報告する。さらに、基準位置合わせの結果は、位置合わせ済みモデルをシミュレーション基準画像上に重ねることによって、視覚的に検査した。3つ以上の基準マーカが重なり合う場合に、位置合わせは成功とみなした。成功率は、シミュレーション画像の総数に対する位置合わせの成功数の比として計算した。
基準マーカのMR画像を使用したデバイス/画像間位置合わせの妥当性検査(Validation of Device-to-Image Registration using MR images of Fiducial Markers)。
発明者等は、Body Matrixコイルを備えた3テスラ大孔径MRIスキャナ(ドイツのErlangenのSiemens Heathcare社製のMAGNETOM Verio)で撮像実験を行った。この実験の目的は、2つある。すなわち、1)磁場の不均質性の存在下における提案するデバイス/画像間位置合わせの現実的な精度を決定すること、および2)その性能を従来の基準に基づく位置合わせと比較することである。発明者等は、離散した位置および配向におけるテーブルに対する基準フレームのアイソセンターに対する既知の位置に基準フレームを配置するプラットフォームを構築した。円形平面が患者テーブルと平行な状態で基準フレームがほぼアイソセンターに位置するように、ベーステーブルをスキャナの位置合わせレーザと手作業で位置合わせした。ベーステーブルは、スキャナの患者テーブルに固定した。座標は、仰臥位/足を先にした体勢の患者の座標系と同様に記録した。すなわち、ガントリの軸が上下(S−I)軸に対応し、ガントリの断面の縦軸および横軸が、それぞれ前後(A−P)軸および左右(R−L)軸に対応する。
基準フレームは、ジグを追加または再配置することによって、離散的に平行移動または回転させた。基準フレームは、R−L軸およびS−I軸に沿ってアイソセンターから0mm、50mm、100mm、および150mmだけ、A−P軸に沿って0mm、10mm、20mm、30mm、および40mmだけ平行移動させ、その最初の配向からR−L軸およびS−I軸の周りでは0°、15°、30°、45°、75°、および90°回転させ、A−P軸の周りでは0°、90°、180°、および270°回転させた。発明者等は、A−P方向の平行移動範囲は制限した。これは、発明者等が、発明者等の臨床適用業務と同じ撮像設定を使用するためにBody Matrixコイルとともに全てのジグをカバーする必要があったからである。
それぞれの位置および配向において、発明者等の施設で腎臓および肝臓のMRI誘導式冷凍アブレーションに使用されているT2重み付けHalf−Fourier Acquisition Single−shot Turbo spin Echo(HASTE)シーケンス(TR/TE:1000/198ms、フリップ角:131°、画素サイズ:1:09375±1:09375mm2、FOV:300±255mm2、帯域幅:504Hz/画素、スライス厚さ:2mm、スライス数:19〜80)を使用して、冠状面で基準フレームのマルチスライスMR画像を取得した。
全ての画像を取得した後で、これらの画像から、提案した自動デバイス/画像間位置合わせを使用して、基準フレームのその初期位置からの平行移動および回転を推定した。その結果を、ジグの構成に基づいて計算した参照平行移動および参照回転と比較して、位置合わせ誤差を計算した。この実験を、20回繰り返した。それぞれの位置および配向において、平行移動誤差および回転誤差の平均および標準偏差を計算した。
さらに、基準フレームの平行移動および回転は、基準に基づく位置合わせも使用して推定した。この手法では、各基準マーカの中心の位置をマウスカーソルによって手作業で突き止め、記録した。3D Slicerで基準位置合わせモデルを使用してモデル中の個々のマーカの座標を画像上で突き止めた座標とマッチングすることによって、基準フレームのモデルを画像と位置合わせした。自動位置合わせの評価と同様に、参照平行移動および参照回転に基づいて位置合わせ誤差を計算した。次いで、tテストを移用して、自動位置合わせの位置合わせ誤差と手動位置合わせの位置合わせ誤差を比較した。
MRI誘導式腎臓アブレーション中の患者の動きによるターゲティング誤差のシミュレーション(Simulation of Targeting Error Due to Patient Motion During MRI-guided Kidney Ablations)
このレトロスペクティブ画像解析研究は、ブリガムアンドウィメンズ病院の治験審査委員会によって承認され、HIPAAに準拠している。この研究の目的は、処置中の患者の動きによって患者装着式針ガイドで生じ得るターゲティング誤差を推定し、提案する自動デバイス/画像間位置合わせによる動き補償がこのような誤差をどのように抑制することができる可能性があるかを推定することである。発明者等の仮定は、全自動位置合わせでは、デバイスを、挿入するたびに針の位置を確認するために取得する全ての確認画像と再位置合わせする(図4のステップ428から432)ことによって、患者の動きを打ち消すことが可能になるというものである。繰り返し再位置合わせを行うことで、体表面の動きによって誘導デバイスが変位した場合でも、または内部器官の動きによってターゲットが変位した場合でも、針配置計画を適応的に更新することが可能になる。
被験者(Subjects)。
選択基準(inclusion criteria)は、腎腫瘍が確認され、2013年5月から2014年8月の間に1人の放射線医(K.T.)によって行われたMRI誘導式腎臓冷凍アブレーションを受けた被験者とした。これらの基準を用いて、20人の被験者(年齢46歳から87歳、男性6名、女性14名)を本研究では選択した。腫瘍アブレーションは、冷凍アブレーション(イスラエルのYokneamのGalil Medical Ltd.)を用いて行った。患者は、全身麻酔(GA)(N=8)または監視下麻酔管理(MAC)(N=12)で処置した。
撮像プロトコル(Imaging Protocol)。
全ての手術中画像は、デバイス/画像間位置合わせの妥当性検査の撮像研究と同じスキャナを用いて取得した。針配置プロセス中に、同じBody MatrixコイルおよびマルチスライスT2重み付けHASTEシーケンス(TR/TE:1000/200ms、フリップ角:129〜147°、取得マトリクス:320×190、FOV:289×340、帯域幅:504Hz/画素、スライス厚さ:4mm、スライス数:8〜20)を使用して、マルチスライスT2重み付けMR画像を取得した。MR撮像は、GAの場合には管理無呼吸時に行い、MACの場合には息をこらえている間に行った。
体表面によるデバイス変位のシミュレーション(Simulation of device displacement due to body surface)。
シミュレーションワークフローの概略図を、図7A、図7B、および図7Cに示す。図7Aは、従来のMR誘導式腎臓冷凍アブレーション中に取得された一連の術中MR画像を使用した針誘導のシミュレーションを示す概略図である。このシミュレーションでは、誘導デバイス180は、時系列の手術中画像(図7Aの中央の行)から再構築した体表面の3Dモデルに仮想的に装着した。患者の体を、各画像にしきい値を適用することによってセグメンテーションし、次いで、3D Slicerで利用できるマーチングキューブ法を用いて表面モデルに変換した。皮膚上の針の挿入点も、各画像上の針アーチファクトに基づいて識別した。
発明者等は、臨床シナリオで遠隔運動中心が皮膚上の挿入点と位置合わせされるようにデバイスが配置されるものと仮定している。したがって、仮想的に装着したデバイスの位置は、遠隔運動中心を挿入点とマッチングすることによって決定した。同様に、デバイスの配向も、体表面上のデバイスの基部を支持する領域内のポリゴンの平均配向から推定した。この領域は、誘導デバイスの基部と同じ半径を有する、皮膚表面上の挿入点の周りの円形領域として決定される。誘導デバイスのこれらの位置および配向のパラメータに基づいて、発明者等は、各手術中画像上に基準フレームの球形マーカをレンダリングした。この「シミュレーション画像」は、患者装着式針誘導デバイス180を備えた患者の手術中画像を模倣したものである。発明者等は、各手術中画像についてデバイスの位置および配向を計算し、基準を備えたシミュレーションMR画像を生成した(図7Aの最下行)。
ターゲット期間の変位の評価(Assessment of target organ displacement)。
臨床処置中の腎臓の変位は、系列中の最初のフレーム中の腎臓後続のフレーム中の腎臓と位置合わせすることによって推定した。3D SlicerのBRAINSFitモジュールに実装された相互情報の最大化を用いた強度に基づく剛***置合わせを使用した。腎臓のみを位置合わせするために、画像上で大まかに腎臓の輪郭を形成してマスクを作成し、このマスクを使用して、2つの画像の類似性を評価する領域を限定した。位置合わせは、視覚的に確認した。次いで、腎臓の平行移動をターゲットの初期位置に適用して、各フレームのターゲットの位置を得た。
針誘導デバイスの再位置合わせを行う場合および行わない場合の針配置のシミュレーション(Simulation of needle placement with and without re-registration of the needle guide device)。上記で得られたデータを使用して、発明者等は、シミュレーション画像を使用してターゲット計画、基準位置合わせ、および針配置をシミュレートし、生じ得る針配置の誤差を評価した。発明者等は、以下の2つのシナリオを考慮している。
再位置合わせを行わない針配置(図7B参照)。
開始時に一度だけ計画を立案し、処置中には更新しないという従来のシナリオを使用して、針配置をシミュレートした。最初に、シミュレーション画像の最初のフレーム上の腎腫瘍に、ターゲットを規定する。デバイス/画像間位置合わせ方法を使用して、針誘導デバイスをシミュレーション画像と位置合わせした。針誘導角度は、ターゲットの位置、および針誘導デバイスの位置合わせに基づいて決定した。次いで、計画した針誘導角度を使用して、i番目のシミュレーション画像上で針を仮想的に配置した。発明者等は、針ガイドがその角度を維持するが、体表面の変位によって変位しないものと仮定した。したがって、その結果としてi番目のシミュレーション画像上で得られる針軌道は、デバイスをi番目の画像上のデバイスの位置および配向に変換することによって決定した。同様に、発明者等は、腎臓中のターゲットが、腎臓の動きによって変位するものと仮定し、i番目の画像上のターゲットの位置は、腎臓の変換を元のターゲットに適用することによって推定した。最後に、得られた軌道とターゲットの間の距離を、予想ターゲティング誤差(ETE)として測定した。
再位置合わせを行う針配置(図7C参照)。
再位置合わせを使用するシナリオについて、針配置をシミュレートした。このシナリオは、本明細書に記載する自動デバイス/画像間位置合わせおよび再位置合わせによって可能となった。針ガイドを各シミュレーション画像と再位置合わせするので、計画は最新の状態に維持される。次いで、次のシミュレーション画像をシミュレートする前に、針誘導角度を更新した。その結果得られるi番目のシミュレーション画像上の針軌道は、(i−1)番目のシミュレーション画像用に更新された針誘導角度を有するデバイスをi番目の画像上のデバイスの位置および配向に変換することによって決定した。最後に、軌道とターゲットの間の距離をETEとして測定した。次いで、対応のあるウィルコクソンの順位和検定(paired Wilcoxon rank sum test)を使用して、両シナリオのETEを統計的に比較した。
合成画像を使用して、デバイス/画像間位置合わせを妥当性検査した。総数で980枚の合成画像を処理した。処理時間は、2:75±0:93秒/画像(平均±SD)であった。自動位置合わせの全体の成功率は、100.0%であったが、全体の基準検出率は、99.7%であった。FREおよびTREは、全ての基準フレーム構成で、それぞれ0:54±0:22mmおよび0:84±0:50mm(mean±SD)であった。計算時間は、スライスの数の影響は受けるが、基準の数の影響は受けない。
範囲外のスキャンを除く全てのスキャンの全体の基準検出率は、98.3%であり、処理時間は、4:96±1:19秒/画像(mean±SD)であった。150mmの針挿入の全体のFREおよびTREは、それぞれ2:71±2:29mmおよび1:74±1:13mm(平均±SD)であった。FREおよびTREはともに、基準フレームがR軸およびS軸に沿ってオフ−アイソセンター(off−isocenter)に平行移動するにつれて、増大した。FREおよびTREは、20〜40mmの範囲では、A軸に沿っては増大しなかった。FREおよびTREは、基準フレームをR軸およびS軸の周りで元の位置から回転させたときにも増大したが、A軸の周りでは増大しなかった。
手作業による基準に基づく位置合わせは、同じMR画像データセットを使用しても上手く行われた。ユーザが画像上のマーカを識別するのに要した平均時間は、122秒であった。150mmの針挿入の全体のFREおよびTREは、それぞれ2:20±7:98mmおよび2:85±2:94mmであった。自動位置合わせの全体のTREは、手作業による位置合わせのそれよりかなり小さかった(p<1:0±10-11)が、全体のFREでは有意な差はなかった(p=0:29)。
MRI誘導式腎臓アブレーション中の患者の動きによるターゲティング誤差のシミュレーション(Simulation of Targeting Error Due to Patient Motion During MRI-guided Kidney Ablations)。
198枚の針確認画像のうち193枚の画像(97.5%)において、自動位置合わせソフトウェアは、基準マーカの検出および位置合わせに成功した。FREは、1:03±0:36m(mean±SD)であった。再位置合わせがETEに及ぼす影響は最小限である。各針確認画像で誘導デバイスの再位置合わせを行うことにより、ETEは、患者母集団全体で、11.8mmから8.1mm(平均)に有意に改善された(p<1:0±10-8)。再位置合わせにより、ETEは、監視下麻酔管理(MAC)を使用した一方の患者グループ、および全身麻酔(GA)を使用した他方の患者グループの両方で改善された。GAで処置した患者のETEは、8.2mmから5.4mm(平均)に改善され(p<0:0005)、MACで処置した患者のETEは、14.4mmから10.0mm(平均)に改善された(p<1.0×10-5)。
自動再位置合わせの代表的な結果を、図8に示す。図8では、針誘導デバイス180の3Dモデルを、再位置合わせの前(A)および後(B)のシミュレーション基準マーカ184を備えた術中MR画像のボリュームレンダリング上に重ねてある。発明者等が行った1つの実験では、提示される画像は、ベースライン画像を取得してから32分後に取得したものであった。針誘導デバイスは、最初にベースライン画像(例えばスカウト画像)に位置合わせし、次いで、本(現在の)画像に再位置合わせした。シミュレーション基準マーカは、針の計画挿入点および挿入点の周囲の皮膚表面の配向に基づいて推定した位置にレンダリングした。次いで、基準マーカを備えた画像を、再位置合わせのための入力として使用した。図8の部分(A)および(B)の下側部分に見られるように、再位置合わせの前には生じ得る針軌道とターゲットとの間に有意なずれがあるが、モデルの再位置合わせによってこのずれが減少して、針挿入軌道の精度が維持されている。
計画の構成と実際の構成の間の差の最小化(Minimizing differences between planned and actual configuration)。
本明細書に提供するシステムおよび方法は、計画の体構成と実際の体構成の間の差異を最小化することも企図している。この差異には、複数の要因がある、最初に、新たな画像に基づく自動デバイス/画像間位置合わせアルゴリズムを提供する。基準フレームの構成は、円状に位置合わせされた球形マーカを必要とするだけであるので、幅広い画像誘導適用分野で容易に実施することができる。特に、円状に位置合わせされた基準マーカ(球形またはその他の形状)を、環状の(rotary−shaped)針誘導デバイスに適用すると有利である。基準マーカは臨床診療で日常的に使用されているが、パッシブな球形マーカのロバストな自動検出は、信号強度の不一致のためにMR画像で実現することは容易ではない。
本実施形態は、特定の形状に感度がある画像フィルタ、およびマーカの構成に基づく追加のフィルタリングが、単純な球形マーカの信頼性の高い検出を実現できることを実証している。また、デバイスの配置、デバイス/画像間位置合わせ、および患者の動きの存在下でのターゲティングを含む、針配置ワークフローをシミュレートする計算方法も提供する。この方法は、器官内のターゲットの変位だけでなく、体表面上の誘導デバイスの変位も考慮する点が独特である。この方法では、さらに、体および/またはターゲットが動いて、位置合わせの精度が低下するにつれて、再位置合わせを行うことができる。この方法であれば、医師は、器官および体表面の規則的な動きを示すいくつかの一連の画像を取得することができる場合には、針配置誤差の生じ得る範囲を推定または予測することもできる。
したがって、以前の針配置の確認画像に基づいて計画を更新し続けることを可能にし、針配置の精度を大幅に改善する、針誘導デバイスの位置を突き止める能力を提供する方法および装置が提供される。改善は、全身麻酔(人工呼吸状態)の患者およびMAC(自発呼吸状態)の患者の両方に見られる。
この研究では、このアルゴリズムが、ファントム画像では98.3%、患者の体も含むシミュレーション画像では97.5%の成功率で、基準フレームをロバストに検出して位置合わせすることが実証された。合成画像を用いた研究では、個々の基準マーカの検出率は全体の成功率ほど高くないが、基準マーカ検出に若干の誤差がある場合でも、位置合わせでは依然として正確に位置合わせ変換を推定することができたことも実証された。実際に、合成画像にランダムノイズが追加されたときに、TRE/FREの劣化は観察されなかった。スライス厚さを小さくすると、TRE/FREを改善することができるが、同じ撮像ボリュームをカバーするのにより多くのスライスが必要になるので、それだけ計算時間がかかることになる。このアルゴリズムは、従来の基準に基づく位置合わせよりTREの点で優れており、MR画像上のマーカを手作業で識別する必要をなくすことにより、位置合わせプロセスに要する時間を大幅に短縮した。ファントムの研究ではいくつかの知見がある。第1に、この研究では、このアルゴリズムが、コイルの感度による磁場の不均一性および強度の偏りの存在下で、基準フレームを上手く検出および位置合わせしたことが証明された。この研究では、TRE/FREが、磁場の不均一性によって、実際のMRIスキャナ内の基準フレームの位置に依存することも分かった。実際には、MRIスキャナはテーブルの位置を調節して撮像ボリュームの中心をアイソセンターに合わせることができるので、S−I方向に沿ったずれによるFRE/TREの劣化は、他の方向のずれほど懸念されるものではない。円形フレームの軸がA−P軸に位置合わせされているので、A−P軸の周りの回転は、FRE/TREに影響を及ぼさなかった。
本発明の特定の(1つまたは複数の)実施形態、またはいくつかの実施形態のうちの少なくとも一部は、記憶媒体(より完全に「非一時的コンピュータ可読記憶媒体」と呼ぶこともある)に記録されたコンピュータ実行可能命令(例えば1つまたは複数のプログラム)を読み出して実行して上述の(1つまたは複数の)実施形態のうちの1つまたは複数の機能を実行する、かつ/あるいは上述の(1つまたは複数の)実施形態のうちの1つまたは複数の機能を実行する1つまたは複数の回路(例えば特定用途向け集積回路(ASIC))を含む、システムまたは装置のコンピュータ、ならびに例えば上記のシステムまたは装置のコンピュータにより、記憶媒体からコンピュータ実行可能命令を読み出して実行して上述の(1つまたは複数の)実施形態のうちの1つまたは複数の機能を実行し、かつ/または上述の(1つまたは複数)の実施形態のうちの1つまたは複数の機能を実行するように上記の1つまたは複数の回路を制御することによって実行される方法によって、実現することができる。このコンピュータは、1つまたは複数のプロセッサ(例えば中央処理装置(CPU)、マイクロ処理装置(MPU))を含むことがあり、コンピュータ実行可能命令を読み出して実行する別個のコンピュータまたは別個のプロセッサのネットワークを含むこともある。このコンピュータは、例えば、MRIハードウェアおよびコンソールを含むMRIシステムと結合されていてもよいし、この撮像システムとは分離していてもよい。コンピュータ実行可能命令は、例えばネットワークまたは記憶媒体からコンピュータに提供することができる。記憶媒体としては、例えば、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、分散型コンピューティングシステムの記憶装置、光ディスク(コンパクトディスク(CD)、デジタル汎用ディスク(DVD)、Blu−rayディスク(BD)(登録商標)など)、フラッシュメモリデバイス、およびメモリカードなどが挙げられる。
定義(Definitions)
説明においては、開示する実施例が完全に理解されるように、具体的な詳細を記載している。その他、周知の方法、処置、構成要素、および回路については、本開示を不要に長くすることを避けるために、詳細には説明していない。
本明細書において、ある要素または部分を、別の要素または部分「の上」、「に接して」、「に接続される」、または「に結合される」と述べている場合、それは、その別の要素もしくは部分の直に上にある、その別の要素もしくは部分に直接接触している、直接接続されている、または直接結合されている可能性もあるし、あるいは介在する要素または部分が存在する場合もあることを理解されたい。これに対して、ある要素が、別の要素または部分「の直に上にある」、別の要素または部分「に直接接続される」、あるいは別の要素または部分「に直接結合される」と述べられている場合には、介在する要素または部分は存在しない。「および/または」という用語を使用するときには、関連して列挙されている項目があれば、そのうちの1つまたは複数の任意の全ての組合せを含む。
本明細書では、「の下」、「の真下」、「の下方」、「より低い」、「の上方」、「上側」、「近位」、「遠位」など、空間的に相対的な用語は、様々な図面に示す1つの要素または特徴の別の(1つまたは複数の)要素または特徴に対する関係を記述する際に、説明を容易にするために用いていることがある。しかし、これらの空間的に相対的な用語は、図面に示す配向の他に、使用時または動作時のデバイスの様々な配向も包含するものと意図されていることを理解されたい。例えば、図中のデバイスをひっくり返した場合には、他の要素または特徴の「下」または「真下」と述べられている要素が、それらの他の要素または特徴の「上方」に配向されることになる。したがって、「の下」などの相対的な空間的用語は、上および下の両方の配向を包含することができる。デバイスは、その他の配向にすることもでき(90度またはその他の配向に回転させることもでき)、本明細書で使用する空間的に相対的な記述語は、それに応じて解釈されるものとする。同様に、「近位」および「遠位」という相対的な空間的用語も、適用可能な場合には、入れ換えることができることもある。
本明細書で使用する「約」という用語は、例えば、10%以内、5%以内、またはそれ未満を意味する。いくつかの実施形態では、「約」という用語は、製造公差による測定誤差内を意味することもある。
本明細書では、第1、第2、第3などの用語を、様々な要素、構成要素、領域、部分、および/または区画を説明するために使用することがある。これらの要素、構成要素、領域、部分、および/または区画は、これらの用語によって限定されないものと理解されたい。これらの要素は、単に1つの要素、構成要素、領域、部分、または区画を、別の領域、部分、または区画と区別するために使用しているに過ぎない。したがって、以下に述べる第1の要素、構成要素、領域、部分、または区画は、本明細書の教示を逸脱することなく、第2の要素、構成要素、領域、部分、または区画と呼ぶこともできる。
本明細書において、基準マーカのクラスタを区別するという文脈で使用している「区別することができる」は、様々なクラスタの構成(数、サイズ、形状、構成、または材料特性)を、少なくとも物理フレーム上のマーカのクラスタと画像上で検出されたマーカのクラスタとの間に1対1の対応を確立する確度で、他のクラスタのそれぞれと区別することができるということを意味している。クラスタが区別されると、画像座標系内でフレームを位置特定することができる。
本明細書で使用する語法は、特定の実施形態を説明することのみを目的としたものであり、限定することを意図したものではない。本明細書で使用する単数形の「a」、「an」、および「the」は、そうでないことが文脈から明らかでない限り、複数形も含むものと意図されている。さらに、本明細書で使用する「含む」および/または「含み」という用語は、記載する特徴、整数、ステップ、動作、要素、および/または構成要素が存在することを指定するが、明示的には述べられていない1つまたは複数のその他の特徴、整数、ステップ、動作、要素、構成要素、および/あるいはそれらのグループが存在すること、または追加されることを排除するものではないことも理解されたい。
図面に示す例示的な実施形態を説明する際には、分かりやすいように具体的な用語を利用している。しかし、本特許明細書の開示は、そのようにして選択された具体的な用語に限定されないものとして意図されており、各具体的な要素は、同様に動作する全ての技術的等価物を含むことを理解されたい。
例示的な実施形態を参照して本開示を説明したが、本開示は、開示した例示的な実施形態に限定されないことを理解されたい。以下の特許請求の範囲は、全てのこのような修正ならびに等価な構造および機能を包含するように最も広く解釈されるものとする。

Claims (20)

  1. 患者の解剖学的構造に取付け可能な医療デバイス、
    前記医療デバイス上に基準フレームとして配置された1つまたは複数の基準マーカ、
    および、
    基準位置合わせの方法を実行するコンピュータ実行可能プログラムを記憶したメモリであって、
    前記方法は、
    記医療デバイスおよび前記患者の解剖学的構造の第1の画像データを取得するステップと、
    前記第1の画像データ内で基準マーカオブジェクトを検出するステップと、
    前記第1の画像データ内で各基準マーカオブジェクトについて代表点を規定するステップと、
    前記第1の画像データ内で規定された前記代表点を前記基準フレームのモデルと位置合わせして、第1の位置合わせ済み基準フレームを得るステップと、
    前記医療デバイスおよび前記患者の解剖学的構造の後続の画像データを取得するステップと、
    記後続の画像データ内で基準マーカオブジェクトを検出するステップと、
    記後続の画像データ内で各基準マーカオブジェクトについて代表点を規定するステップと、
    記後続の画像データ内で規定された前記代表点を前記基準フレームの前記モデルと再位置合わせして、再位置合わせ済み基準フレームを得るステップと、
    を含む、
    メモリを備え、
    前記再位置合わせは針の計画およびナビゲーションの処置中に取得される各後続の画像データについて行われ
    前記再位置合わせ済み基準フレームを前記後続の画像データと比較して、前記患者の解剖学的構造に対する前記医療デバイスの位置が前記第1の画像データと前記後続の画像データとの間で変化しているかどうかを判定する、
    自動位置合わせシステム。
  2. 患者に装着されるように構成され、基準フレームとして配置された複数の基準マーカを備える医療デバイスと、
    前記患者に装着された前記医療デバイスの第1の画像を取得し、
    前記第1の画像内で基準マーカオブジェクトを検出し、
    前記第1の画像の前記基準マーカオブジェクトを前記基準フレームのモデルと位置合わせして、第1の位置合わせ済み基準フレームを得て、
    前記患者に装着された前記医療デバイスの少なくとも1つの後続の画像を取得し、
    前記少なくとも1つの後続の画像内で基準マーカオブジェクトを検出し、
    前記少なくとも1つの後続の画像の前記基準マーカオブジェクトを前記基準フレームの前記モデルと再位置合わせして、再位置合わせ済み基準フレームを得て、
    前記再位置合わせ済み基準フレームを前記少なくとも1つの後続の画像に重畳して表示して、前記患者に装着された前記医療デバイスの位置が前記第1の画像と前記少なくとも1つの後続の画像との間で変化しているかどうかを判定する
    ように構成された制御装置と、
    を備える、システム。
  3. 前記医療デバイスは、針を患者の体内に配置するために計画挿入軌道に沿って針状器具を誘導するように構成された針誘導デバイスを含む、請求項に記載のシステム。
  4. 前記制御装置は、
    前記計画挿入軌道に沿って挿入位置およびターゲット位置を規定し、
    前記患者に装着された前記医療デバイスの位置および配向を示す断層撮影画像である確認画像を取得し、
    前記確認画像から、前記針誘導デバイスが前記針状器具を前記ターゲット位置に誘導することができるかどうかを判定する
    ようにさらに構成される、請求項に記載のシステム。
  5. 前記針誘導デバイスが前記針状器具を前記計画挿入軌道に沿って誘導することができない場合に、前記制御装置は、さらに、前記基準マーカオブジェクトの再位置合わせが必要であるかどうかを判定するようにさらに構成される、請求項に記載のシステム。
  6. 前記制御装置は、前記第1の位置合わせ済み基準フレームを再位置合わせ済み基準フレームと比較し、または2つの再位置合わせ済み基準フレームを比較し、それらの差を表示または記録するようにさらに構成される、請求項に記載のシステム。
  7. 前記差が所定の値より大きい場合に、前記制御装置は、前記表示または記録されている差に応じて前記患者上で前記針誘導デバイスを再位置決めするようにユーザに促すようにさらに構成される、請求項に記載のシステム。
  8. 前記制御装置は、針配置処置中に取得される各後続の画像について、前記少なくとも1つの後続の画像の前記基準マーカオブジェクトのうちの少なくとも一部を、前記基準フレームの前記モデルと再位置合わせする、請求項に記載のシステム。
  9. 前記制御装置は、針配置処置中に所定の時間毎に取得される各後続の画像について、前記少なくとも1つの後続の画像の前記基準マーカオブジェクトのうちの少なくとも一部を、前記基準フレームの前記モデルと再位置合わせする、請求項に記載のシステム。
  10. 前記制御装置は、針配置処置中に異なる針状器具が前記患者に挿入されるたびに取得される各後続の画像について、前記少なくとも1つの後続の画像の前記基準マーカオブジェクトのうちの少なくとも一部を、前記基準フレームの前記モデルと再位置合わせする、請求項に記載のシステム。
  11. 前記医療デバイスは、複数の針状器具を連続して誘導するように構成された回転可能な針誘導デバイスを含み、各針状器具は異なる計画挿入軌道に沿って誘導され、
    異なる針状器具が異なる挿入軌道に沿って前記患者に挿入されるたびに、前記制御装置は、前記挿入軌道、または各挿入された針状器具の画像に、異なる色を割り当てるように構成される、請求項に記載のシステム。
  12. 前記基準フレームは、円形に非対称に配置された少なくとも3つの基準マーカを含む、請求項に記載のシステム。
  13. 前記制御装置は、
    特徴強調を適用して、前記少なくとも1つの後続の画像内の前記基準マーカオブジェクトを強調し、
    特徴抽出を適用して、強調した基準マーカオブジェクトを抽出し、
    各抽出した基準マーカオブジェクトについて代表点を規定するようにさらに構成される、請求項12に記載のシステム。
  14. 前記制御装置は、
    代表点が位置合わせされる円を推定し、
    前記推定された円上にない代表点を除去し、
    前記推定された円を、前記基準マーカが非対称に配置されている円とマッチングするようにさらに構成される、請求項12に記載のシステム。
  15. 前記制御装置は、前記患者内のターゲット位置の位置が前記第1の画像と前記少なくとも1つの後続の画像との間で変化しているかどうかを判定するようにさらに構成される、請求項に記載のシステム。
  16. 前記ターゲット位置の位置が変化している場合に、前記制御装置は、前記少なくとも1つの後続の画像内の前記基準マーカオブジェクトの再位置合わせが必要であるかどうかを判定するようにさらに構成される、請求項15に記載のシステム。
  17. 前記ターゲット位置の位置が所定の距離を超えて変化している場合に、前記制御装置は、再位置合わせが必要であると判定する、請求項16に記載のシステム。
  18. 前記制御装置は、前記少なくとも1つの後続の画像のしきい値処理、クラスタリング、およびグラフ分割のうちの1つまたは複数に基づいて、前記ターゲット位置の位置が変化しているかどうかを判定する、請求項15に記載のシステム。
  19. 前記第1の画像は、針配置処置の前に取得されるスカウトスキャン画像であり、前記少なくとも1つの後続の画像は、前記針配置処置中に取得される断層撮影画像であり、
    前記第1の画像および前記後続の画像のうちの1つまたは複数は、磁気共鳴撮像(MRI)撮像モダリティまたはX線コンピュータ断層撮影法(CT)撮像モダリティによって取得される、
    請求項2から18のいずれか一項に記載のシステム。
  20. 前記ターゲット位置の前記位置の変化が所定の距離より小さい場合、前記制御装置は再位置合わせが不要であると判定し、前記制御装置は前記少なくとも1つの後続の画像を廃棄する、請求項16に記載のシステム。
JP2018151301A 2017-08-11 2018-08-10 患者装着式の針ガイドの位置合わせおよび動き補償 Active JP6671432B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762544487P 2017-08-11 2017-08-11
US62/544,487 2017-08-11

Publications (2)

Publication Number Publication Date
JP2019076693A JP2019076693A (ja) 2019-05-23
JP6671432B2 true JP6671432B2 (ja) 2020-03-25

Family

ID=65274479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018151301A Active JP6671432B2 (ja) 2017-08-11 2018-08-10 患者装着式の針ガイドの位置合わせおよび動き補償

Country Status (2)

Country Link
US (1) US11202652B2 (ja)
JP (1) JP6671432B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030657B (zh) * 2014-02-19 2019-06-28 皇家飞利浦有限公司 医学4d成像中的运动自适应可视化
US10893842B2 (en) * 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11344371B2 (en) 2018-10-19 2022-05-31 Canon U.S.A., Inc. Visualization of three-dimensional image data on a two-dimensional image
US11707259B2 (en) 2018-10-19 2023-07-25 Canon U.S.A., Inc. Wireless needle guidance using encoder sensor and encoder scale to achieve positional sensing between movable components
US11786307B2 (en) 2018-10-19 2023-10-17 Canon U.S.A., Inc. Visualization and manipulation of results from a device-to-image registration algorithm
US10839512B2 (en) * 2018-10-26 2020-11-17 Flagship Biosciences, Inc. Method of dot detection within images of tissue samples
US11113898B2 (en) * 2019-12-20 2021-09-07 GE Precision Healthcare LLC Half box for ultrasound imaging
WO2021142134A1 (en) * 2020-01-07 2021-07-15 Arcscan, Inc. Composite ultrasound images
WO2021159519A1 (zh) * 2020-02-14 2021-08-19 西安大医集团股份有限公司 图像引导方法、装置、放疗设备和计算机存储介质
WO2021173541A1 (en) * 2020-02-24 2021-09-02 Intuitive Surgical Operations, Inc. Systems and methods for registration feature integrity checking
US11607277B2 (en) * 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
CN111671506B (zh) * 2020-07-24 2021-06-08 河南省中医院(河南中医药大学第二附属医院) 一种呼吸科用胸腔穿刺引导定位装置
US11887347B2 (en) * 2020-08-06 2024-01-30 Canon U.S.A., Inc. Device-to-image registration method, apparatus, and storage medium
CN112070731B (zh) * 2020-08-27 2021-05-11 佛山读图科技有限公司 应用人工智能引导人体模型图集与病例ct图像配准的方法
NL2026505B1 (en) * 2020-09-18 2022-05-23 Limis Dev B V Motion-compensated laser speckle contrast imaging
WO2022125715A1 (en) * 2020-12-08 2022-06-16 The Regents Of The University Of Colorado, A Body Corporate Needle guidance system
CN115089303A (zh) * 2021-05-10 2022-09-23 武汉联影智融医疗科技有限公司 机器人定位方法及***
CN113081252B (zh) * 2021-05-17 2022-11-08 广西医科大学 一种移动式射频消融装置
CN113303824B (zh) * 2021-06-08 2024-03-08 上海导向医疗***有限公司 用于体内目标定位的数据处理方法、模块与***
KR102495465B1 (ko) * 2021-07-05 2023-02-06 재단법인 대구경북첨단의료산업진흥재단 Mri 기반의 생검 시술 로봇을 위한 바늘 위치 예측 방법 및 시스템

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5427099A (en) 1994-03-17 1995-06-27 Adams; Timothy L. Marker for magnetic resonance imaging
US5613013A (en) 1994-05-13 1997-03-18 Reticula Corporation Glass patterns in image alignment and analysis
US6314310B1 (en) * 1997-02-14 2001-11-06 Biosense, Inc. X-ray guided surgical location system with extended mapping volume
US6119032A (en) 1997-12-31 2000-09-12 U.S. Philips Corporation Method and system for positioning an invasive device by magnetic resonance (MR) imaging of an MR visible device
US6118845A (en) * 1998-06-29 2000-09-12 Surgical Navigation Technologies, Inc. System and methods for the reduction and elimination of image artifacts in the calibration of X-ray imagers
US6468265B1 (en) 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
JP2001017422A (ja) 1999-07-08 2001-01-23 Toshiba Iyo System Engineering Kk 画像処理装置および画像処理装置用マーカー部材
US6381485B1 (en) 1999-10-28 2002-04-30 Surgical Navigation Technologies, Inc. Registration of human anatomy integrated for electromagnetic localization
EP1260179B1 (de) * 2001-05-22 2003-03-26 BrainLAB AG Röntgenbildregistrierungseinrichtung mit einem medizinischen Navigationssystem
US6975896B2 (en) 2002-05-23 2005-12-13 Koninklijke Philips Electronics N.V. Fiducial markers for MRI
US7720522B2 (en) 2003-02-25 2010-05-18 Medtronic, Inc. Fiducial marker devices, tools, and methods
US8027712B2 (en) 2002-10-11 2011-09-27 Ion Beam Applications S.A. Elongated markers for soft tissue volume identification
JP4408067B2 (ja) 2004-06-11 2010-02-03 国立大学法人大阪大学 3次元断層撮影像作成方法およびコンピュータシステム
JP4542877B2 (ja) 2004-11-18 2010-09-15 イマグノーシス株式会社 医用撮影用マーカー
WO2007100293A1 (en) 2006-03-01 2007-09-07 Sidec Technologies Ab Method of applying alignment markers for cryo-microscopy
WO2008047379A2 (en) 2006-03-07 2008-04-24 Hirdesh Sahni An image guided whole body stereotactic needle placement device
JP5291619B2 (ja) * 2006-05-24 2013-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 座標系レジストレーション
JP4126318B2 (ja) 2006-06-23 2008-07-30 三菱重工業株式会社 放射線治療装置制御装置および放射線治療装置の制御方法
US8401620B2 (en) 2006-10-16 2013-03-19 Perfint Healthcare Private Limited Needle positioning apparatus and method
EP2091459B1 (en) 2006-10-23 2013-09-11 Hirdesh Sahni An image guided whole body stereotactic needle placement device with falling arc
GB2445961B (en) 2006-10-31 2009-02-04 Prosurgics Ltd Fiducial marker placement
US8175677B2 (en) 2007-06-07 2012-05-08 MRI Interventions, Inc. MRI-guided medical interventional systems and methods
JP5283949B2 (ja) 2008-03-28 2013-09-04 和田精密歯研株式会社 Ct撮影用マーカーおよび3次元断層撮影像の作成方法
US8885926B2 (en) 2009-04-15 2014-11-11 Massachusetts Institute Of Technology Image and data segmentation
HUE052071T2 (hu) 2009-08-22 2021-04-28 Univ Leland Stanford Junior Embriók, oociták és õssejtek képalkotó eljárással történõ megjelenítése és értékelése
US20130072784A1 (en) 2010-11-10 2013-03-21 Gnanasekar Velusamy Systems and methods for planning image-guided interventional procedures
WO2012149548A2 (en) 2011-04-29 2012-11-01 The Johns Hopkins University System and method for tracking and navigation
US20150150641A1 (en) * 2011-10-28 2015-06-04 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
WO2013068881A1 (en) 2011-11-08 2013-05-16 Koninklijke Philips Electronics N.V. System and method for interactive image annotation
KR20140083856A (ko) 2012-12-26 2014-07-04 가톨릭대학교 산학협력단 복합 실제 3차원 영상 제작방법 및 이를 위한 시스템
US10799316B2 (en) * 2013-03-15 2020-10-13 Synaptive Medical (Barbados) Inc. System and method for dynamic validation, correction of registration for surgical navigation
EP2996607B1 (en) 2013-03-15 2021-06-16 The Cleveland Clinic Foundation System to facilitate intraoperative positioning and guidance
US9222996B2 (en) 2013-03-15 2015-12-29 The Brigham And Women's Hospital, Inc. Needle placement manipulator with two rotary guides
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US9993211B2 (en) * 2013-09-20 2018-06-12 The Brigham And Women's Hospital, Inc. System and method for automatic detection and registration of medical images
US20150098636A1 (en) 2013-10-09 2015-04-09 United Sciences, Llc Integrated tracking with fiducial-based modeling
WO2016044934A1 (en) * 2014-09-24 2016-03-31 7D Surgical Inc. Tracking marker support structure and surface registration methods employing the same for performing navigated surgical procedures
US10420626B2 (en) * 2015-06-30 2019-09-24 Canon U.S.A., Inc. Fiducial markers, systems, and methods of registration
ES2886675T3 (es) 2015-06-30 2021-12-20 Canon Usa Inc Marcadores fiduciarios, sistemas, y procedimientos de registro
JP6662612B2 (ja) 2015-11-17 2020-03-11 キヤノンメディカルシステムズ株式会社 医用画像診断装置

Also Published As

Publication number Publication date
US20190046232A1 (en) 2019-02-14
US11202652B2 (en) 2021-12-21
JP2019076693A (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
JP6671432B2 (ja) 患者装着式の針ガイドの位置合わせおよび動き補償
JP6609330B2 (ja) レジストレーションの基準マーカー、システム、および方法
US10420626B2 (en) Fiducial markers, systems, and methods of registration
EP2081494B1 (en) System and method of compensating for organ deformation
US11986252B2 (en) ENT image registration
US9993211B2 (en) System and method for automatic detection and registration of medical images
JP7111680B2 (ja) デバイス対画像レジストレーションアルゴリズムからの結果の可視化及び操作
EP3788596B1 (en) Lower to higher resolution image fusion
US20070118100A1 (en) System and method for improved ablation of tumors
EP3673854B1 (en) Correcting medical scans
EP3292835B1 (en) Ent image registration
Janca et al. Automated identification of stereoelectroencephalography contacts and measurement of factors influencing accuracy of frame stereotaxy
US20230316550A1 (en) Image processing device, method, and program
JP2020039864A (ja) マルチプローブ誘導のためのシステムおよび方法
JP7221190B2 (ja) 最適化されたデバイス対画像の位置合わせのための構造マスキングまたはアンマスキング
KR20230013042A (ko) 영상 분석을 통해 병변의 재발을 예측하는 방법
WO2021151054A1 (en) Intraoperative 2d/3d imaging platform
US12023143B2 (en) Structure masking or unmasking for optimized device-to-image registration
Li et al. Augmenting interventional ultrasound using statistical shape model for guiding percutaneous nephrolithotomy: Initial evaluation in pigs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200303

R150 Certificate of patent or registration of utility model

Ref document number: 6671432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250