JP2022047374A - 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法 - Google Patents
手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法 Download PDFInfo
- Publication number
- JP2022047374A JP2022047374A JP2020153259A JP2020153259A JP2022047374A JP 2022047374 A JP2022047374 A JP 2022047374A JP 2020153259 A JP2020153259 A JP 2020153259A JP 2020153259 A JP2020153259 A JP 2020153259A JP 2022047374 A JP2022047374 A JP 2022047374A
- Authority
- JP
- Japan
- Prior art keywords
- patient
- surgical navigation
- medical image
- regions
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000002059 diagnostic imaging Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 17
- 230000005484 gravity Effects 0.000 claims description 9
- 210000003128 head Anatomy 0.000 description 12
- 239000003550 marker Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 210000001061 forehead Anatomy 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 206010011985 Decubitus ulcer Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/363—Use of fiducial points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】二段階のレジストレーションを行って、実空間の患者の表面形状と医用画像上の表面形状とを精度よく一致させることができ、しかも、ユーザの負担が小さくする。【解決手段】撮像装置から患者の医用画像を受け取り、実空間上の患者の表面の3以上の領域について、領域内の複数の点の位置情報を取得する。3以上の領域ごとに一つの代表位置を設定する。領域ごとの代表位置の情報を用いて、実空間の前記患者の向きと、医用画像における患者の向きとを対応づける初期位置合わせを行う。3以上の領域内の複数の点の位置により表される患者の表面形状と、医用画像内の患者像の表面形状とが一致するように実空間の患者位置と医用画像の位置とをさらに対応づける詳細位置合わせを行う。【選択図】図3
Description
この発明は、実空間上の患者位置と医用画像を位置合わせする技術に関する。
手術ナビゲーションシステムは、手術中の患者位置と術具の位置関係を医用画像上に表示することで、治療または手術を支援するための情報を提供するシステムである。
手術ナビゲーションを行うためには、実空間上の患者位置と医用画像内の患者像の位置との位置合わせ(レジストレーション)が必要である。位置合わせ方法のひとつには、撮像マーカを患者に貼り付けて撮像し、実空間上のマーカ位置と医用画像上のマーカ位置を対応付ける方法がある。この方法では、マーカを貼り付ける作業が増えることに伴う医療従事者の負担増や、撮像を実施してから手術が行われるまでマーカを貼り付けたままにすることによる患者の負担増や、マーカずれにより位置合わせができなくなるなどの課題がある。
特許文献1には、もうひとつの位置合わせ方法として、レーザなどを用いて取得した患者の表面情報と医用画像から取得した三次元画像の表面情報をパターンマッチングにより対応づける方法(サーフェスレジストレーション)が開示されている。
また、非特許文献1には、点のレジストレーションと、面のレジストレーション(サーフェスレジストレーション)とを組み合わせて行う方法が開示されている。この方法は、まず、患者に貼り付けたマーカ、または、解剖学的なランドマークを用いて、実空間上のマーカや解剖学的なランドマークの位置と、医用画像上のマーカや解剖学的なランドマークの位置との対応付けを行い、その後で、面のレジストレーションを行うことにより、精度よく実空間上の患者の表面形状と医用画像に位置合わせすることができる。
Kenshi KANEKO, et al.," Application of Surgical Simulation and Navigation System with 3D Imaging", MEDICAL IMAGING TECHNOLOGY Vol.18 No.2 March 2000, p121-126.
Paul J. Besl and Neil D. McKay," A Method for Registration of 3-D Shapes", IEEE TRANSACTIONS ON PTTERN ANALYSIS AND MACHINE INTELLIGENCE Vol.14 No.2 FEBRUARY 1992, p239-255.
特許文献1に記載のサーフェスレジストレーションにおいては、レジストレーションの前の実空間の患者の表面形状の向きと医用画像上の表面形状の向きとのなす角度(初期角度)が大きすぎると、パターンマッチングによる位置合わせ処理が局所解に陥ってしまい、正確な位置合わせ結果が得られない場合がある。例えば、図12(a-1)に示したように、実空間の患者の表面形状902の向きと医用画像上の患者901の表面形状の向きが大きく異なったままパターンマッチングを行うと、実空間の患者902の表面形状と医用画像上の患者901の表面形状との角度がずれた状態で、たまたま曲面が一致する領域がある場合、図12(a-2)のように、角度がずれた状態のまま位置合わせされてしまうことがある。
これに対し、非特許文献1のように、面のレジストレーションの前に、点のレジストレーションを行って、実空間の患者902の表面形状の向きと医用画像上の患者901の表面形状の向きとを一致させ(図12(b-1))、その後、面のレジストレーションを行うことにより精度の良い位置合わせを行うことが可能である(図12(b-12))。
しかしながら、面のレジストレーションの前に、点のレジストレーションを行う場合、非特許文献1に記載されているように、実空間の患者に貼り付けたマーカ、または、解剖学的なランドマークの位置を計測する必要がある。そのため、例えば頭部の場合、患者の前額部・左右の側頭部などの位置に、ユーザがポインタなどで指し示す等して位置を計測する必要がある。その後、サーフェスレジストレーションに用いる患者の体表データを取得するために、患者の頭の表面をレーザ等によりスキャンする必要がある。
このように、点のレジストレーションと面のレジストレーションの両方を行う場合、ユーザは、点のレジストレーションのために、点の位置を取得する工程と、面のレジストーションのために、患者の表面形状を取得する工程の二段階の操作を行う必要がある。これらの操作の複雑さに伴って、ユーザへの負担が増すとともに、操作時間が増大する等の課題が発生する。
本発明の目的は、二段階のレジストレーションを行って、実空間の患者の表面形状と医用画像上の表面形状とを精度よく一致させることができ、しかも、ユーザの負担が小さくすることにある。
上記目的を達成するために、本発明の手術ナビゲーションシステムは、外部の装置から患者について撮影された医用画像を受け取って格納する記憶部と、実空間の患者の表面の点の位置情報を検出する位置検出センサと、実空間の患者位置と医用画像内の患者像の位置とを対応づける位置合わせ部とを有する。位置合わせ部は、位置検出センサから、実空間上の患者の表面の3以上の領域について、領域内の複数の点の位置情報を取得し、3以上の領域ごとに一つの代表位置を設定し、領域ごとの代表位置の情報を用いて、実空間の患者の向きと、医用画像における患者の向きとを対応づける初期位置合わせを行った後、3以上の領域内の複数の点の位置により表される患者の表面形状と、医用画像内の患者像の表面形状とが一致するように実空間の患者位置と医用画像の位置とを対応づける詳細位置合わせを行う。
本発明によれば、3以上の領域内ごとに代表位置を設定することにより、代表位置による初期位置合わせと、領域内の複数の点により表される表面形状による位置合わせの両方を行って、実空間の患者の表面形状と医用画像上の表面形状とを精度よく一致させることができる。しかも、操作者の操作により取得する位置情報は、領域内の複数の点について取得する1回のみでよく、ユーザの負担を軽減できる。
以下、添付図面に従って本発明に係る手術ナビゲーションシステムの好ましい実施形態について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
図1は手術ナビゲーションシステム1の構成を示す図である。手術ナビゲーション装置1は、CPU(Central Processing Unit)2、主メモリ3、記憶装置4、表示メモリ5、表示装置6、マウス8に接続されたコントローラ7、ポインタ15の位置を検出する位置検出センサ9、ネットワークアダプタ10が、システムバス11によって信号送受可能に接続されて構成される。
手術ナビゲーションシステム1は、ネットワーク12を介して3次元撮像装置13や医用画像データベース14と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。
CPU2は、各構成要素の動作を制御するとともに、所定の演算を行う制御部である。以下、CPU2を制御部2とも呼ぶ。
主メモリ3は、CPU2が実行するプログラムや演算処理の途中経過を記憶するものである。
記憶装置4は、CT装置やMRI装置などの3次元撮像装置13により撮影された医用画像情報を格納する装置であり、具体的にはハードディスク等である。また、記憶装置4は、フレシキブルディスク、光(磁気)ディスク、ZIPメモリ、USBメモリ等の可搬性記録媒体とデータの受け渡しをする装置であっても良い。医用画像情報はLAN(Local Area Network)等のネットワーク12を介して3次元撮像装置13や医用画像データベース14から取得される。また、記憶装置4には、CPU2が実行するプログラムやプログラム実行に必要なデータが格納される。
表示メモリ5は、液晶ディスプレイやCRT(Cathode Ray Tube)等の表示装置6に表示するための表示データを一時格納するものである。マウス8は、操作者が手術ナビゲーションシステム1に対して操作指示を行う操作デバイスである。マウス8はトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。
表示コントローラ7は、マウス8の状態を検出して、表示装置6上のマウスポインタの位置を取得し、取得した位置情報等をCPU2へ出力するものである。
位置検出センサ9は、システムバス11に信号送受可能に接続されている。
ネットワークアダプタ10は、手術ナビゲーションシステム1をLAN、電話回線、インターネット等のネットワーク12に接続するためのものである。
ポインタ15は、反射球16を複数取り付けることができる棒状の剛体である。
位置検出センサ9は、反射球16の空間座標を認識することができる。よって、位置検出センサ9は、反射球16が複数取り付けられたポインタ15の先端位置を検出することができる。また、手術時には、反射球16が複数取り付けられた術具を用いることにより、術具の先端位置を検出することができる。位置検出センサ9が検出した反射球16の位置情報及びポインタ15の形状は、CPU2に入力される。
CPU2は、記憶装置4に予め格納されているプログラムやプログラム実行に必要なデータを主メモリ3にロードして実行することにより、制御部としての種々の機能を実現する。具体的には、CPU2は、位置検出センサ9から受け取った反射球16の位置情報及びポインタ15や術具の形状情報を用いて、所定のプログラムに従って演算を行うことにより、ポインタ15や術具の先端の空間位置を算出する。これにより、ナビゲーション装置1は、ポインタ15や術具の先端の空間位置を認識することができ、患者の表面形状をポインタ15の先端位置情報から把握することが可能になる。また、術具の先端の位置を、医用画像上で表示することが可能になる。
また、CPU2は、記憶装置4に予め格納されている位置合わせプログラムを実行することにより、実空間上の患者の表面の3以上の領域について、領域内の点群の位置情報を取得し、患者の表面形状と医用画像との位置合わせ(レジストレーション)を行う位置合わせ部21として機能する。位置合わせ部21による位置合わせ処理について、以下の実施形態1および2により詳細に説明する。
なお、CPU(制御部)2のポインタ15や術具の先端の位置の算出処理部としての機能や、位置合わせ部21として機能等種々の機能の一部または全部をハードウエアによって実現することも可能である。例えば、ASIC(Application Specific Integrated Circuit)のようなカスタムICや、FPGA(Field-Programmable Gate Array)のようなプログラマブルICを用いて、ポインタ15や術具の先端の位置の算出処理部や、位置合わせ部21の機能等を実現するように回路設計を行えばよい。
<<実施形態1>>
実施形態1として、図1の手術ナビゲーション装置による患者301の表面形状と医用画像との位置合わせ(レジストレーション)処理について詳しく説明する。図2は、本発明の手術ナビゲーション装置の位置合わせ(レジストレーション)処理を示すフローである。
実施形態1として、図1の手術ナビゲーション装置による患者301の表面形状と医用画像との位置合わせ(レジストレーション)処理について詳しく説明する。図2は、本発明の手術ナビゲーション装置の位置合わせ(レジストレーション)処理を示すフローである。
本実施形態では、位置合わせ部21は、位置検出センサ9から、実空間上の患者301の表面の3以上の領域311,312,313(図3参照)について、領域311,312,313内の複数の点の位置情報を取得する。位置合わせ部21は、3以上の領域311,312,313ごとに一つの代表位置331,332,333を設定し、領域311,312,313ごとの代表位置331,332,333の情報を用いて、図12(b-1)のように実空間の患者301(902)の向きと、医用画像における患者901の向きとを対応づける初期位置合わせを行う。その後、位置合わせ部21は、3以上の領域311,312,313内の複数の点の位置により表される患者301(902)の表面形状と、医用画像内の患者901の像の表面形状とが一致するように実空間の患者位置と医用画像の位置とを対応づける詳細位置合わせを行う(図12(b-2)参照)。
位置合わせ部21は、領域内311,312,313ごとの代表位置331,332,333を、領域内の複数の点の位置情報から算出することができる。例えば、位置合わせ部21は、領域311,312,313ごとに、位置情報を取得した複数の点の重心を算出し、代表位置331,332,333とすることができる。
本発明の手術ナビゲーション装置の位置合わせ(レジストレーション)処理について以下説明する。まず、図2のフローを用いて位置合わせ処理の概要を説明する。なお、患者位置合わせの対象である医用画像データは、3次元撮像装置13や医用画像データベース14から取得され、記憶装置4に格納されている。
(ステップS201)
CPU(制御部)2の位置合わせ部21は、図3に示すように、実空間上の患者体表面に設定した領域(以下、点群取得領域と呼ぶ)311,312,313ごとに、予め定めた数の複数の点(以下、表面点群と呼ぶ)321,322,323の位置をそれぞれ取得する。
CPU(制御部)2の位置合わせ部21は、図3に示すように、実空間上の患者体表面に設定した領域(以下、点群取得領域と呼ぶ)311,312,313ごとに、予め定めた数の複数の点(以下、表面点群と呼ぶ)321,322,323の位置をそれぞれ取得する。
点群取得領域311,312,313は、患者の左右方向に向かい合う2つの領域312、313と、患者301の前後方向に向かい合う2つの領域311等のうちの3つの領域311,312,313である。これら3つの領域311,312,313は、患者301の周方向に沿って並んでいることが望ましい。
なお、表面点群321,322,323の取得方法については、図4のフローを用いて後で詳しく説明する。
(ステップS202)
次に、位置合わせ部21は、各領域311,312,313の代表位置331,332,333を算出する。ここでは、ステップS201で取得した点群取得領域311,312,313ごとに、表面点群321,322,323の重心位置Gregionを式(1)により算出し、代表位置331,332,333として用いる。
ここで、Gregionのregionは点群取得領域311,312,313のいずれかを示し、Nは、表面点群321,322,323を構成する点の数であり、Pregion,kは、regionで表される点群取得領域311,312、313内の表面点群321,322,323のk番目の点の位置を示す3次元ベクトルである。
次に、位置合わせ部21は、各領域311,312,313の代表位置331,332,333を算出する。ここでは、ステップS201で取得した点群取得領域311,312,313ごとに、表面点群321,322,323の重心位置Gregionを式(1)により算出し、代表位置331,332,333として用いる。
(ステップS203)
位置合わせ部21は、ステップS202で算出した代表位置331,332,333を用いて、実空間座標系における、医用画像の画像空間座標系の直交3軸に対応する3軸の方向を演算により求める。
位置合わせ部21は、ステップS202で算出した代表位置331,332,333を用いて、実空間座標系における、医用画像の画像空間座標系の直交3軸に対応する3軸の方向を演算により求める。
例えば、位置合わせ部21は、3つの点群取得領域311,312,313のうち、向かい合う領域312、313を選択し、それらの代表位置332,333を結ぶ第1ベクトルを算出する。また、3つの点群取得領域311,312,313の代表位置を含む平面に直交する第2ベクトルを算出し、第1および第2ベクトルに直交する第3ベクトルを算出する。第1、第2および第3ベクトルを、医用画像の画像空間の直交3軸に対応付ける。本ステップS203の処理については後で詳しく説明する。
(ステップS204)
位置合わせ部21は、実空間座標系の表面点群321,322,323の座標を、ステップS203で求めた画像空間座標系の直交3軸に対応する3軸の座標系の座標に座標変換する。
位置合わせ部21は、実空間座標系の表面点群321,322,323の座標を、ステップS203で求めた画像空間座標系の直交3軸に対応する3軸の座標系の座標に座標変換する。
これにより実空間上の患者301の向きと医用画像における患者像の向きとを対応付ける初期位置合わせが完了する。
(ステップS205)
つぎに、位置合わせ部21は、ステップS204で座標変換した表面点群321,322,323を一つの点群として扱い、この点群により表される患者301の表面形状と、医用画像内の患者の3D画像から得た表面形状とが一致するように、実空間の患者301の位置と医用画像の位置とを対応づける詳細位置合わせを行う。例えば、この位置合わせには、Iterative Closest Point法等の公知の手法を用いる。Iterative Closest Point法は、非特許文献2に詳細に記載されている広く知られた方法であるので、ここでは詳細な説明を省略する。
つぎに、位置合わせ部21は、ステップS204で座標変換した表面点群321,322,323を一つの点群として扱い、この点群により表される患者301の表面形状と、医用画像内の患者の3D画像から得た表面形状とが一致するように、実空間の患者301の位置と医用画像の位置とを対応づける詳細位置合わせを行う。例えば、この位置合わせには、Iterative Closest Point法等の公知の手法を用いる。Iterative Closest Point法は、非特許文献2に詳細に記載されている広く知られた方法であるので、ここでは詳細な説明を省略する。
上述のように、本実施形態では、ステップS201~S204において、患者301の表面の3以上の領域311,312,313内の点群321,322,323の位置を取得し、その代表位置331,332,333を用いて、患者301の向きと、医用画像の患者像の向きとを初期位置合わせした後、ステップS205において、患者301の表面形状と、医用画像内の患者の3D画像から得た表面形状とが一致するように詳細位置合わせする2段階の位置合わせを行うことができる。よって、精度よく実空間の患者301と医用画像の患者像とを位置合わせできる。
しかも、このあと詳細に説明するように、操作者は、領域311,312,313をポインタ15でなぞる操作のみでよいため、2段階の位置合わせでありながら、操作者および患者301の負担を軽減することができる。
以下、上記ステップS201の患者301の表面の点群321,322,323の位置を取得する処理について、図4のフローを用いてさらに詳しく説明する。
(ステップS401)
まず、位置合わせ部21は、3以上の領域311,312,313を順に表示装置6に表示し、ポインタ15によって領域311,312,313内の患者301の表面をなぞるように操作者に促す。
まず、位置合わせ部21は、3以上の領域311,312,313を順に表示装置6に表示し、ポインタ15によって領域311,312,313内の患者301の表面をなぞるように操作者に促す。
例えば、位置合わせ部21は、操作者に対して表面点群321,322,323の位置が未取得の点群取得領域311,312,313のひとつ(例えば領域311)を例えば図5~図7のように、点群を取得すべき領域として表示装置6に表示して、患者301のその領域311内の表面をなぞるように操作者に促す。ここでは、点群取得領域311,312,313は、前額部・右側頭部・左側頭部および後頭部のうちの3つ以上の領域である。
ただし、ここでは点群取得領域311,312,313が3領域である場合について述べたが、点群取得領域は必ずしも3領域である必要はなく、4領域以上でもよい。その場合、4領域目以上は補正のために用いることができる。
(ステップS402)
操作者は、表示装置6によって表示された領域(領域311)内の患者301の体表面を、ポインタ15でなぞる。例えば、表示装置6に点群を取得すべき領域として、領域311が図5のように表示された場合、操作者は、開始ボタン1003を選択後、患者体表面の点群取得領域311に対応する領域をポインタ15でなぞる。
操作者は、表示装置6によって表示された領域(領域311)内の患者301の体表面を、ポインタ15でなぞる。例えば、表示装置6に点群を取得すべき領域として、領域311が図5のように表示された場合、操作者は、開始ボタン1003を選択後、患者体表面の点群取得領域311に対応する領域をポインタ15でなぞる。
位置検出センサ9は、操作者が患者301の表面をなぞっているポインタ15の反射球16の位置を検出する。CPU2は、反射球16の位置を受け取って、所定の演算を行うことにより、ポインタ15の先端の位置を算出する。これにより、位置合わせ部21は、患者301の表面位置を取得する。
(ステップS403、S404)
位置合わせ部21は、表面点群321の点と点との間隔を所定の距離以上にするために、取得した位置から算出したポインタ15の先端位置から、予め定めた一定距離以内に取得済みの表面位置点が存在するか判定する(ステップS403)。存在しない場合、ステップS404に進み、その位置を次の点の位置情報であるとしてその位置を取得し、主メモリ3に記録する(ステップS404)。これにより、すでに取得した点の位置から予め定めた距離以上離れた点の位置を取得することができる。
位置合わせ部21は、表面点群321の点と点との間隔を所定の距離以上にするために、取得した位置から算出したポインタ15の先端位置から、予め定めた一定距離以内に取得済みの表面位置点が存在するか判定する(ステップS403)。存在しない場合、ステップS404に進み、その位置を次の点の位置情報であるとしてその位置を取得し、主メモリ3に記録する(ステップS404)。これにより、すでに取得した点の位置から予め定めた距離以上離れた点の位置を取得することができる。
ステップS403において、現在のポインタ15の先端位置から、予め定めた一定距離以内に取得済みの表面位置点が存在する場合には、ステップS402に戻り、操作者は患者体表面をなぞる動作を続ける。
(ステップS405)
位置合わせ部21は、ステップS404で主メモリ3に点を追加した結果、取得済み表面位置の点数が、予め定めた上限数以上であるかどうか判定する。上限数に達していない場合には、ステップS402に戻る。
位置合わせ部21は、ステップS404で主メモリ3に点を追加した結果、取得済み表面位置の点数が、予め定めた上限数以上であるかどうか判定する。上限数に達していない場合には、ステップS402に戻る。
このとき、位置合わせ部21は、主メモリ3内に格納されている点の数と上限数とを表す進捗バー1002を表示装置に表示する。これにより、表面点群321の取得進捗を進捗バー1002によって表示できる。
位置合わせ部21は、取得済み表面位置の点数が、予め定めた上限数以上に達した場合には、領域311について上限数の表面点群321の取得が完了したので、ステップS406に進む。
(ステップS406)
位置合わせ部21は、表面位置点群が未取得の点群取得領域312,313が存在するか判定し、存在する場合には、ステップS401に戻り、点群取得領域312を図6のように表示し、ステップS401~S405を繰り返す。点群取得領域312について上限数の表面点群322が取得されたならば、ステップS406からステップS401に再び戻り、点群取得領域313を図7のように表示し、ステップS401~S405を繰り返す。
位置合わせ部21は、表面位置点群が未取得の点群取得領域312,313が存在するか判定し、存在する場合には、ステップS401に戻り、点群取得領域312を図6のように表示し、ステップS401~S405を繰り返す。点群取得領域312について上限数の表面点群322が取得されたならば、ステップS406からステップS401に再び戻り、点群取得領域313を図7のように表示し、ステップS401~S405を繰り返す。
すべての点群取得領域311,312,313について、上限数の表面点群322が取得されたならばステップS201を終了し、ステップS202に進む。
以下、図8のフローを用いて上記ステップS203の処理についてさらに詳しく説明する。
図8のステップS601~S604では、代表位置331,332,333の位置を用いて、実空間座標系における、画像空間座標系の直交3軸に対応するベクトルを算出する。
(ステップS601)
まず、位置合わせ部21は、ステップS202で算出した点群取得領域311,312,313の重心位置(代表位置)331,332,333のうち患者の向かい合う2つの領域312、313の重心位置332及び333を結ぶベクトル501を算出する(図9参照)。ここでは、右側頭部の領域312の重心位置332と、左測定部の領域313の重心位置333を結ぶベクトル501を算出する。これにより、患者301の左右方向のベクトル501を算出することができる。
まず、位置合わせ部21は、ステップS202で算出した点群取得領域311,312,313の重心位置(代表位置)331,332,333のうち患者の向かい合う2つの領域312、313の重心位置332及び333を結ぶベクトル501を算出する(図9参照)。ここでは、右側頭部の領域312の重心位置332と、左測定部の領域313の重心位置333を結ぶベクトル501を算出する。これにより、患者301の左右方向のベクトル501を算出することができる。
(ステップS602)
つぎに、位置合わせ部21は、ステップS202で算出した3つの点群取得領域311,312,313の重心位置(代表位置)331,332,333が含まれる平面511を求め、この平面に直交するベクトル502を算出する。これにより、患者301の体軸方向のベクトル502を算出することができる。
つぎに、位置合わせ部21は、ステップS202で算出した3つの点群取得領域311,312,313の重心位置(代表位置)331,332,333が含まれる平面511を求め、この平面に直交するベクトル502を算出する。これにより、患者301の体軸方向のベクトル502を算出することができる。
(ステップS603)
位置合わせ部21は、ステップS601及びS602で算出したベクトル501,502の両方に直交するベクトル503を算出する。これにより、患者の前後方向のベクトル503を算出することができる。
位置合わせ部21は、ステップS601及びS602で算出したベクトル501,502の両方に直交するベクトル503を算出する。これにより、患者の前後方向のベクトル503を算出することができる。
(ステップS604)
S601~S603で算出したベクトル501~503は、左右方向、体軸方向、前後方向のベクトルであるので、医用画像データに予め含まれている画像空間座標系の直交3軸(左右方向、体軸方向、前後方向)に対応付ける。
S601~S603で算出したベクトル501~503は、左右方向、体軸方向、前後方向のベクトルであるので、医用画像データに予め含まれている画像空間座標系の直交3軸(左右方向、体軸方向、前後方向)に対応付ける。
なお、図5では、点群取得領域311,312,313が前額部、右側頭部、左側頭部であったため、ベクトル501~503は、それぞれ左右方向、体軸方向、前後方向のベクトルであったが、点群取得領域311,312,313が前額部、後頭部、右側頭部である場合は、ベクトル501~503は、前後方向、体軸方向、左右方向になる。よって、点群取得領域311,312,313の設定位置に応じて、算出される3軸の向きが異なるため、医用画像データに予め含まれている画像空間座標系の直交3軸の対応付ける軸が異なることに留意する必要がある。
本実施形態1により、表面点群の取得を分割した点群取得領域ごとに行うことで、初期位置合わせのために追加の手順を踏む必要がなくなり、サーフェスレジストレーションの操作性・簡便性を向上することができる。
すなわち、本実施形態1によれば、分割した領域ごとに患者表面点群を取得することで、初期位置合わせに必要な患者方向データと詳細位置合わせで用いる患者表面データを同時に取得することが可能となり、サーフェスレジストレーション実施のための操作手順削減によるユーザの負担低減および操作性を向上することが可能である。
<<実施形態2>>
実施形態2の手術ナビゲーションシステムについて説明する。
実施形態2の手術ナビゲーションシステムについて説明する。
実施形態2の手術ナビゲーションシステムは、実施形態1のシステムと同様の構成であるが、操作者から前記患者の***の入力を受け付ける***入力部をさらに備えている点が実施形態1とは異なっている。
CPU2は、表示装置に図10に示すような患者***入力画面800を表示させる。操作者はマウス8を用いて表示されている***811~814の中から実際の患者301の状態を示す***を選択し、CPU3はマウス8による入力を受け付ける。これにより、CPU2は、***入力部の機能を実現する。
位置合わせ部21は、***入力部が受け付けた患者の***に応じて、対向する2組の領域(例えば、前額部と後頭部、右側頭部と左側頭部)の中から3つの領域を点群取得領域311,312,313として選択する。
以下、図11のフローを用いて本実施形態2を***入力部と位置合わせ部21の処理を説明する。
(ステップS701)
まず、CPU2は、表示装置に図10に示すような患者***入力画面800を表示させる。患者***入力画面800には、患者***選択領域810に、仰臥位811、伏臥位812、右側臥位813または左側臥位814が表示され、さらに設定ボタン820が表示されている。操作者は、患者***入力画面800において、手術中の患者***に該当する***を、マウス8を用いて選択した後、設定ボタン820を選択することで患者***をシステムに入力することができる。
まず、CPU2は、表示装置に図10に示すような患者***入力画面800を表示させる。患者***入力画面800には、患者***選択領域810に、仰臥位811、伏臥位812、右側臥位813または左側臥位814が表示され、さらに設定ボタン820が表示されている。操作者は、患者***入力画面800において、手術中の患者***に該当する***を、マウス8を用いて選択した後、設定ボタン820を選択することで患者***をシステムに入力することができる。
(ステップS702)
システムは、ステップS701で入力された患者***に応じて、予め定めておいた適切な点群取得領域を設定し、表示装置6に表示する。例えば、手術中の患者退位として左側臥位が入力された場合、システムは前頭部311、右側頭部312、後頭部(不図示)を点群取得領域として設定する。
システムは、ステップS701で入力された患者***に応じて、予め定めておいた適切な点群取得領域を設定し、表示装置6に表示する。例えば、手術中の患者退位として左側臥位が入力された場合、システムは前頭部311、右側頭部312、後頭部(不図示)を点群取得領域として設定する。
(ステップS703)
操作者は、ステップS702でシステムによって提示された点群取得領域を確認し、表面点群を取得しづらい領域が存在する場合などには、必要に応じて点群取得領域をマウス8等を用いて修正する。
操作者は、ステップS702でシステムによって提示された点群取得領域を確認し、表面点群を取得しづらい領域が存在する場合などには、必要に応じて点群取得領域をマウス8等を用いて修正する。
(ステップS704~S708)
実施形態1のS201~S205と同じであるので説明を省略する。
実施形態1のS201~S205と同じであるので説明を省略する。
本実施形態2により、操作者は、患者301の***を選択するだけで、適切な点群取得領域を設定することができ、点群取得領域の手順を簡便化することができるという効果がある。
実施形態2の手術ナビゲーションシステムの上述した以外の構成、動作、効果は、実施形態1と同様であるので説明を省略する。
1:手術ナビゲーションシステム、2:CPU、3:主メモリ、4:記憶装置、5:表示メモリ、6:表示装置、7:表示コントローラ、8:マウス、9:位置検出センサ、10:ネットワークアダプタ、11:システムバス、12:ネットワーク、13:3次元撮像装置、14:医用画像データベース
Claims (11)
- 外部の装置から患者について撮影された医用画像を受け取って格納する記憶部と、
実空間の患者の表面の点の位置情報を検出する位置検出センサと、
前記実空間の患者位置と前記医用画像内の患者像の位置とを対応づける位置合わせ部とを有し、
前記位置合わせ部は、前記位置検出センサから、実空間上の患者の表面の3以上の領域について、前記領域内の複数の点の位置情報を取得し、3以上の前記領域ごとに一つの代表位置を設定し、前記領域ごとの前記代表位置の情報を用いて、実空間の前記患者の向きと、前記医用画像における前記患者の向きとを対応づける初期位置合わせを行った後、3以上の前記領域内の複数の点の位置により表される前記患者の表面形状と、前記医用画像内の患者像の表面形状とが一致するように前記実空間の患者位置と前記医用画像の位置とを対応づける詳細位置合わせを行うことを特徴とする手術ナビゲーションシステム。 - 請求項1に記載の手術ナビゲーションシステムであって、前記初期位置合わせに用いる前記領域内のそれぞれの前記代表位置は、前記領域ごとに前記複数の点の位置情報から算出したものであることを特徴とする手術ナビゲーションシステム。
- 請求項2に記載の手術ナビゲーションシステムであって、前記代表位置は、前記領域内の前記複数の点の重心であることを特徴とする手術ナビゲーションシステム。
- 請求項1に記載の手術ナビゲーションシステムであって、3以上の前記領域は、前記患者の左右方向に向かい合う2つの領域、および、前記患者の前後方向に向かい合う2つの領域のうちの3つの領域を含み、当該3つの領域は、前記患者の周方向に沿って並んでいることを特徴とする手術ナビゲーションシステム。
- 請求項4に記載の手術ナビゲーションシステムであって、前記位置合わせ部は、3以上の前記領域のうち、向かい合う領域を選択し、前記向かい合う領域のそれぞれの前記代表位置を結ぶ第1ベクトルを算出し、3つの前記領域の前記代表位置を含む平面に直交する第2ベクトルを算出し、前記第1および第2ベクトルに直交する第3ベクトルを算出し、前記第1、第2および第3ベクトルを、前記医用画像の画像空間の直交3軸に対応付けることにより前記初期位置合わせを行うことを特徴とする手術ナビゲーションシステム。
- 請求項1に記載の手術ナビゲーションシステムであって、前記位置合わせ部は、前記3以上の領域を順に表示装置に表示し、ポインタによって前記領域内の前記患者の表面をなぞるように操作者に促し、
前記位置検出センサは、前記操作者が前記患者の表面をなぞっている前記ポインタの位置を検出することにより、前記患者の表面の1以上の点の位置情報を検出することを特徴とする手術ナビゲーションシステム。 - 請求項6に記載の手術ナビゲーションシステムであって、前記位置合わせ部は、前記位置検出センサが検出した位置から一定の距離以内にすでに取得した点が存在しない場合、次の点の位置情報であるとして取得する動作を、所定数の点の位置情報が前記領域について取得されるまで繰り返すことを特徴とする手術ナビゲーションシステム。
- 請求項4に記載の手術ナビゲーションシステムであって、前記位置合わせ部は、前記患者の左右方向に向かい合う2つの領域、および、前記患者の前後方向に向かい合う2つの領域のうちの3つの領域を、前記患者の***に応じて選択し、選択した領域について前記複数の点の位置情報を取得することを特徴とする手術ナビゲーションシステム。
- 請求項4に記載の手術ナビゲーションシステムであって、操作者から前記患者の***の入力を受け付ける***入力部をさらに有し、
前記位置合わせ部は、前記***入力部が受け付けた前記患者の***に応じて前記3つの領域を選択することを特徴とする手術ナビゲーションシステム。 - 患者の医用画像を撮像する撮像装置と、
前記撮像装置から前記医用画像を受け取って格納する記憶部と、
実空間の患者の表面の点の位置情報を検出する位置検出センサと、
前記実空間の患者位置と前記医用画像内の患者像の位置とを対応づける位置合わせ部とを有し、
前記位置合わせ部は、前記位置検出センサから、実空間上の患者の表面の3以上の領域について、前記領域内の複数の点の位置情報を取得し、3以上の前記領域ごとに一つの代表位置を設定し、前記領域ごとの前記代表位置の情報を用いて、実空間の前記患者の向きと、前記医用画像における前記患者の向きとを対応づける初期位置合わせを行った後、3以上の前記領域内の複数の点の位置により表される前記患者の表面形状と、前記医用画像内の患者像の表面形状とが一致するように前記実空間の患者位置と前記医用画像の位置とを対応づける詳細位置合わせを行うことを特徴とする手術ナビゲーション機能を備えた医用撮像システム。 - 撮像装置から患者の医用画像を受け取るステップと、
実空間上の患者の表面の3以上の領域について、前記領域内の複数の点の位置情報を取得するステップと、
3以上の前記領域ごとに一つの代表位置を設定するステップと、
前記領域ごとの前記代表位置の情報を用いて、実空間の前記患者の向きと、前記医用画像における前記患者の向きとを対応づける初期位置合わせを行うステップと、
3以上の前記領域内の複数の点の位置により表される前記患者の表面形状と、前記医用画像内の患者像の表面形状とが一致するように前記実空間の患者位置と前記医用画像の位置とをさらに対応づける詳細位置合わせを行うステップと
を含むことを特徴とする手術ナビゲーション用の医用画像の位置合わせ方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020153259A JP2022047374A (ja) | 2020-09-11 | 2020-09-11 | 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法 |
US17/205,718 US20220079685A1 (en) | 2020-09-11 | 2021-03-18 | Surgical navigation system, medical imaging system with surgical navigation function, and registration method of medical images for surgical navigation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020153259A JP2022047374A (ja) | 2020-09-11 | 2020-09-11 | 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022047374A true JP2022047374A (ja) | 2022-03-24 |
Family
ID=80626034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020153259A Pending JP2022047374A (ja) | 2020-09-11 | 2020-09-11 | 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220079685A1 (ja) |
JP (1) | JP2022047374A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11871998B2 (en) | 2019-12-06 | 2024-01-16 | Stryker European Operations Limited | Gravity based patient image orientation detection |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6491699B1 (en) * | 1999-04-20 | 2002-12-10 | Surgical Navigation Technologies, Inc. | Instrument guidance method and system for image guided surgery |
DE19960020A1 (de) * | 1999-12-13 | 2001-06-21 | Ruediger Marmulla | Vorrichtung zur optischen Erfassung und Referenzierung zwischen Datensatz, Operationssitus und 3D-Markersystem zur Instrumenten- und Knochensegmentnavigation |
JP2008526422A (ja) * | 2005-01-13 | 2008-07-24 | メイザー サージカル テクノロジーズ リミテッド | 鍵穴脳神経外科用画像ガイドロボットシステム |
US8150494B2 (en) * | 2007-03-29 | 2012-04-03 | Medtronic Navigation, Inc. | Apparatus for registering a physical space to image space |
US8311611B2 (en) * | 2007-04-24 | 2012-11-13 | Medtronic, Inc. | Method for performing multiple registrations in a navigated procedure |
WO2009006935A1 (en) * | 2007-07-06 | 2009-01-15 | Karolinska Institutet Innovations Ab | Stereotactic surgery system |
US8315689B2 (en) * | 2007-09-24 | 2012-11-20 | MRI Interventions, Inc. | MRI surgical systems for real-time visualizations using MRI image data and predefined data of surgical tools |
EP2153794B1 (en) * | 2008-08-15 | 2016-11-09 | Stryker European Holdings I, LLC | System for and method of visualizing an interior of a body |
US10939962B1 (en) * | 2015-04-02 | 2021-03-09 | Mazor Robotics Ltd. | Cranial insertion placement verification |
US10390892B2 (en) * | 2017-08-24 | 2019-08-27 | Synaptive Medical Inc. | System and methods for updating patient registration during surface trace acquisition |
US11382549B2 (en) * | 2019-03-22 | 2022-07-12 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
JP2021049198A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社日立製作所 | 手術支援装置及び手術ナビゲーションシステム |
JP2022122663A (ja) * | 2021-02-10 | 2022-08-23 | 富士フイルムヘルスケア株式会社 | 手術ナビゲーションシステム、情報処理装置、および、情報処理方法 |
-
2020
- 2020-09-11 JP JP2020153259A patent/JP2022047374A/ja active Pending
-
2021
- 2021-03-18 US US17/205,718 patent/US20220079685A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20220079685A1 (en) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2953569B1 (en) | Tracking apparatus for tracking an object with respect to a body | |
EP3254621A1 (en) | 3d image special calibrator, surgical localizing system and method | |
CN112006779A (zh) | 一种手术导航***精度检测方法 | |
US20070018975A1 (en) | Methods and systems for mapping a virtual model of an object to the object | |
CN106108951B (zh) | 一种医用实时三维定位追踪***及方法 | |
US20120259204A1 (en) | Device and method for determining the position of an instrument in relation to medical images | |
CN109925052B (zh) | 靶点路径的确定方法、装置和***、可读存储介质 | |
EP2506215B1 (en) | Information processing apparatus, imaging system, information processing method, and program causing computer to execute information processing | |
TW201944954A (zh) | 手術導引系統 | |
CN107049489B (zh) | 一种手术导航方法及*** | |
WO2014120909A1 (en) | Apparatus, system and method for surgical navigation | |
JP2003299642A (ja) | ナビゲーション手術のための位置合わせ方法 | |
CN103948432A (zh) | 术中立体内窥视频与超声图像增强现实算法 | |
CN109498156A (zh) | 一种基于三维扫描的头部手术导航方法 | |
US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
CN104771189B (zh) | 三维头颅图像对正方法及装置 | |
CN110891488A (zh) | 矢状旋转确定 | |
JP2022047374A (ja) | 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法 | |
US11160610B2 (en) | Systems and methods for soft tissue navigation | |
WO2020168774A1 (zh) | 一种胎头方向测量装置及其方法 | |
CN107260305A (zh) | 计算机辅助微创手术*** | |
JP2000163558A (ja) | 位置合わせ装置 | |
US11950951B2 (en) | Systems and methods for C-arm fluoroscope camera pose refinement with secondary movement compensation | |
US20220327735A1 (en) | Ultrasound probe position registration method, ultrasound imaging system, ultrasound probe position registration system, ultrasound probe position registration phantom, and ultrasound probe position registration program | |
CN111374784A (zh) | 一种增强现实ar定位***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211014 |