JP2024518533A - Multi-scale Ultrasound Tracking and Display - Google Patents
Multi-scale Ultrasound Tracking and Display Download PDFInfo
- Publication number
- JP2024518533A JP2024518533A JP2023570093A JP2023570093A JP2024518533A JP 2024518533 A JP2024518533 A JP 2024518533A JP 2023570093 A JP2023570093 A JP 2023570093A JP 2023570093 A JP2023570093 A JP 2023570093A JP 2024518533 A JP2024518533 A JP 2024518533A
- Authority
- JP
- Japan
- Prior art keywords
- medical instrument
- hmd
- image plane
- determining
- instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 141
- 239000000523 sample Substances 0.000 claims abstract description 63
- 230000005672 electromagnetic field Effects 0.000 claims abstract description 18
- 238000012800 visualization Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 66
- 238000012545 processing Methods 0.000 claims description 63
- 230000009466 transformation Effects 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000001574 biopsy Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 15
- 238000001914 filtration Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 238000000844 transformation Methods 0.000 description 8
- 239000003550 marker Substances 0.000 description 5
- 238000012285 ultrasound imaging Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000004500 asepsis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/462—Displaying means of special interest characterised by constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
- A61B8/4472—Wireless probes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Networks & Wireless Communication (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一実施形態において、システムは、ヘッドマウントディスプレイ（ＨＭＤ）に結合された第１の電磁センサからデータを受信し、超音波プローブに結合された電磁基準源によって生成された電磁場を検出する。システムは、医療器具に結合された第２の電磁センサからデータを受信し、電磁場を検出する。システムは、超音波プローブに対するＨＭＤの位置を決定する。システムは、超音波プローブに対する医療器具の位置を決定する。システムは、超音波画像平面に対して配向された医療器具の経路の視覚化を生成する。システムは、ＨＭＤを装着しているユーザにＨＭＤによって表示するためのグラフィックを提供し、グラフィックは、超音波画像平面上に表示される超音波プローブによってキャプチャされた視覚化および画像データを含む。In one embodiment, the system receives data from a first electromagnetic sensor coupled to a head mounted display (HMD) and detects an electromagnetic field generated by an electromagnetic reference source coupled to an ultrasound probe. The system receives data from a second electromagnetic sensor coupled to a medical instrument and detects the electromagnetic field. The system determines a position of the HMD relative to the ultrasound probe. The system determines a position of the medical instrument relative to the ultrasound probe. The system generates a visualization of a path of the medical instrument oriented relative to an ultrasound image plane. The system provides a graphic for display by the HMD to a user wearing the HMD, the graphic including the visualization and image data captured by the ultrasound probe displayed on the ultrasound image plane.
Description
本開示は、一般に、医療環境内の超音波に関与する処置中の情報の表示および注釈に関する。 This disclosure relates generally to displaying and annotating information during procedures involving ultrasound in a medical environment.
本出願は、２０２１年５月１０日に出願された米国仮出願第６３／１８６，３９３号の優先権の利益を主張し、これは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。 This application claims the benefit of priority to U.S. Provisional Application No. 63/186,393, filed May 10, 2021, which is incorporated by reference in its entirety for all purposes.
超音波画像化に関わる医療処置では、制御された環境または無菌環境で作業する１人または複数のオペレータが、感知された画像情報を直接観察可能な物理情報と組み合わせて医療処置を完了する。直接的および間接的に観察可能な処置情報の翻訳、組み合わせ、および解釈は、医療処置の効率的かつ効果的な完了に障害をもたらす。 In medical procedures involving ultrasound imaging, one or more operators working in a controlled or sterile environment combine sensed image information with directly observable physical information to complete the medical procedure. The translation, combination, and interpretation of directly and indirectly observable procedural information presents obstacles to the efficient and effective completion of the medical procedure.
場合によっては、実施する医師は、処置中に無菌状態を維持しなければならない。場合によっては、無菌状態の有無にかかわらず、医師は医療処置の間、超音波および他の処置器具の直接的な物理的制御を維持しなければならない。医療処置情報の設定、構成、制御、及び／または表示の態様は、医療処置のいくつかまたはすべての段階の間にアクセス可能である必要があり得る。無菌性または器具の直接制御の要件は、処置が開始されると、処置を停止することなく、および／または、従来の医療情報システムインターフェース、例えば、キーボード、マウス、ジョイスティック、または物理的ボタンを使用して、処置を行う人員の指導の下でタスクを実行するために追加の人員の支援を引き出すことなく、処置を行う人員が重要なタスクを実行する能力を妨げる可能性がある。 In some cases, the performing physician must maintain asepsis during the procedure. In some cases, with or without asepsis, the physician must maintain direct physical control of ultrasound and other procedure instruments during the medical procedure. Setup, configuration, control, and/or display aspects of the medical procedure information may need to be accessible during some or all stages of the medical procedure. The requirement of sterility or direct control of instruments may impede the ability of the performing personnel to perform critical tasks once the procedure has begun without stopping the procedure and/or without eliciting the assistance of additional personnel to perform tasks under the guidance of the performing personnel using traditional medical information system interfaces, e.g., keyboard, mouse, joystick, or physical buttons.
本発明の実施形態は、任意の数の器具情報を有する任意の数の画像データを追跡、構成、及び表示するシステムを提供する。一実施形態において、方法は、ヘッドマウントディスプレイ（ＨＭＤ）に結合された第１の電磁センサからデータを受信するステップと、超音波プローブに結合された電磁基準源によって生成された電磁場を検出するステップとを含む。方法は、医療器具に結合された第２の電磁センサからデータを受信し、電磁場を検出するステップをさらに含む。方法は、第１の電磁センサからのデータを処理することによって、超音波プローブに対するＨＭＤの位置を決定するステップをさらに含む。方法は、第２の電磁センサからのデータを処理することによって、超音波プローブに対する医療器具の位置を決定するステップをさらに含む。方法は、ＨＭＤの位置および医療器具の位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された医療器具の経路の視覚化を生成するステップをさらに含む。方法は、ＨＭＤを装着しているユーザにＨＭＤによって表示されるためのグラフィックを提供するステップをさらに含み、グラフィックは、超音波画像平面上に表示される超音波プローブによってキャプチャされた視覚化および画像データを含む。 An embodiment of the present invention provides a system for tracking, organizing, and displaying any number of image data with any number of instrument information. In one embodiment, the method includes receiving data from a first electromagnetic sensor coupled to a head mounted display (HMD) and detecting an electromagnetic field generated by an electromagnetic reference source coupled to an ultrasound probe. The method further includes receiving data from a second electromagnetic sensor coupled to the medical instrument and detecting the electromagnetic field. The method further includes determining a position of the HMD relative to the ultrasound probe by processing the data from the first electromagnetic sensor. The method further includes determining a position of the medical instrument relative to the ultrasound probe by processing the data from the second electromagnetic sensor. The method further includes generating a visualization of a path of the medical instrument oriented relative to an ultrasound image plane based at least in part on the position of the HMD and the position of the medical instrument. The method further includes providing a graphic for display by the HMD to a user wearing the HMD, the graphic including the visualization and image data captured by the ultrasound probe displayed on the ultrasound image plane.
一実施形態において、方法は、ＨＭＤに結合された第３の電磁センサからデータを受信し、超音波プローブに結合された電磁基準源によって生成された電磁場を検出するステップと、第１の電磁センサからのデータおよび第３の電磁センサからのデータを処理することによって、第１の磁気センサと第２の磁気センサとの間の差動信号に基づいてＨＭＤの向きを決定するステップをさらに含む。一実施形態において、ＨＭＤの向きは、ＨＭＤの慣性測定ユニットによってキャプチャされたデータに基づいてさらに決定される。 In one embodiment, the method further includes receiving data from a third electromagnetic sensor coupled to the HMD and detecting an electromagnetic field generated by an electromagnetic reference source coupled to the ultrasound probe, and determining an orientation of the HMD based on a differential signal between the first and second magnetic sensors by processing the data from the first and third electromagnetic sensors. In one embodiment, the orientation of the HMD is further determined based on data captured by an inertial measurement unit of the HMD.
一実施形態において、方法は、医療器具の慣性測定ユニットによってキャプチャされたデータと、第２の電磁センサからのデータとを集約することによって、医療器具の向きを決定するステップをさらに含む。 In one embodiment, the method further includes determining an orientation of the medical instrument by aggregating data captured by an inertial measurement unit of the medical instrument and data from a second electromagnetic sensor.
一実施形態において、方法は、ＨＭＤの画像センサによってキャプチャされた画像データを処理することによって超音波プローブの位置を決定するステップをさらに含み、グラフィックは、超音波プローブの位置からのオフセットでユーザに表示される。 In one embodiment, the method further includes determining a position of the ultrasound probe by processing image data captured by an image sensor of the HMD, and the graphic is displayed to the user at an offset from the position of the ultrasound probe.
一実施形態において、方法は、医療器具の先端と医療器具に結合された第２の電磁センサの位置との間のオフセット距離を決定するステップをさらに含み、視覚化は、オフセット距離に基づいて生成される。 In one embodiment, the method further includes determining an offset distance between the tip of the medical instrument and a position of a second electromagnetic sensor coupled to the medical instrument, and the visualization is generated based on the offset distance.
一実施形態において、方法は、医療器具の第１の座標系を超音波プローブの第２の座標系にマッピングするための第１の変換を決定するステップと、ＨＭＤの第３の座標系を超音波プローブの第２の座標系にマッピングするための第２の変換を決定するステップとをさらに含み、視覚化は、第１の変換および第２の変換を使用して生成される。 In one embodiment, the method further includes determining a first transformation for mapping a first coordinate system of the medical instrument to a second coordinate system of the ultrasound probe, and determining a second transformation for mapping a third coordinate system of the HMD to the second coordinate system of the ultrasound probe, and the visualization is generated using the first transformation and the second transformation.
別の実施形態において、システムは、超音波プローブに結合され、電磁場を生成するように構成された電磁基準源と、ヘッドマウントディスプレイ（ＨＭＤ）に結合され、電磁場を検出するように構成された第１の電磁センサと、医療器具に結合され、電磁場を検出するように構成された第２の電磁センサと、命令を格納する非一時的なコンピュータ可読記憶媒体とを備え、１つまたは複数のプロセッサによって実行されたときに命令は、１つまたは複数のプロセッサに、第１の電磁センサからのデータを処理することによって、超音波プローブに対するＨＭＤの位置を決定することと、第２の電磁センサからのデータを処理することによって、超音波プローブに対する医療器具の位置を決定することと、ＨＭＤの位置及び医療器具の位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された医療器具の経路の視覚化を生成することと、ＨＭＤを装着しているユーザにＨＭＤによって表示されたグラフィックを提供することであって、画像は、超音波画像平面上に表示される超音波プローブによってキャプチャされた視覚化及び画像データを備えるシステム。 In another embodiment, a system includes an electromagnetic reference source coupled to an ultrasound probe and configured to generate an electromagnetic field, a first electromagnetic sensor coupled to a head mounted display (HMD) and configured to detect the electromagnetic field, a second electromagnetic sensor coupled to a medical instrument and configured to detect the electromagnetic field, and a non-transitory computer readable storage medium storing instructions, which when executed by one or more processors, cause the one or more processors to: determine a position of the HMD relative to the ultrasound probe by processing data from the first electromagnetic sensor; determine a position of the medical instrument relative to the ultrasound probe by processing data from the second electromagnetic sensor; generate a visualization of a path of the medical instrument oriented relative to an ultrasound image plane based at least in part on the position of the HMD and the position of the medical instrument; and provide a graphic displayed by the HMD to a user wearing the HMD, the image comprising the visualization and image data captured by the ultrasound probe displayed on the ultrasound image plane.
一実施形態において、システムは、超音波プローブ、ＨＭＤ、および医療器具をさらに備える。一実施形態において、第１の電磁センサ及び第２の電磁センサは無線である。一実施形態において、医療器具は、針、カニューレ、生検装置、または焼灼装置である。 In one embodiment, the system further comprises an ultrasound probe, an HMD, and a medical instrument. In one embodiment, the first electromagnetic sensor and the second electromagnetic sensor are wireless. In one embodiment, the medical instrument is a needle, a cannula, a biopsy device, or a cauterization device.
別の実施形態において、方法は、超音波画像平面の画像データを受信するステップを含む。方法は、超音波画像平面に対する医療器具の位置を決定するステップをさらに含む。方法は、超音波画像平面に対する医療器具の向きを決定するステップをさらに含む。方法は、医療器具の位置および向きに基づいて、医療器具の軌道を決定するステップをさらに含む。方法は、ヘッドマウントディスプレイ（ＨＭＤ）によって、医療器具の軌道を示す器具経路を表示するステップをさらに含む。方法は、軌道に沿った医療器具の更新された位置に基づいて、医療器具が超音波画像平面上の交点に到達したと決定するステップをさらに含む。方法は、ＨＭＤによって、医療器具が超音波画像平面上の交点に到達したことを示す器具経路の更新されたバージョンを表示するステップをさらに含む。 In another embodiment, a method includes receiving image data for an ultrasound image plane. The method further includes determining a position of a medical instrument relative to the ultrasound image plane. The method further includes determining an orientation of the medical instrument relative to the ultrasound image plane. The method further includes determining a trajectory of the medical instrument based on the position and orientation of the medical instrument. The method further includes displaying, by a head mounted display (HMD), an instrument path indicative of the trajectory of the medical instrument. The method further includes determining, based on an updated position of the medical instrument along the trajectory, that the medical instrument has reached an intersection on the ultrasound image plane. The method further includes displaying, by the HMD, an updated version of the instrument path indicative of that the medical instrument has reached an intersection on the ultrasound image plane.
様々な実施形態において、非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに本明細書に記載の方法のいずれかのステップを実行させる命令を格納する。 In various embodiments, a non-transitory computer-readable storage medium stores instructions that, when executed by one or more processors, cause the one or more processors to perform any of the steps of the methods described herein.
図面は、例示のみを目的として本発明の実施形態を示す。当業者は、本明細書に例示された構造および方法の代替的実施形態が、本明細書に記載の本発明の原理から逸脱することなく利用することができることを以下の説明から容易に認識する。 The drawings depict embodiments of the present invention for purposes of illustration only. Those skilled in the art will readily recognize from the following description that alternative embodiments of the structures and methods illustrated herein may be utilized without departing from the principles of the present invention as described herein.
Ｉ．システム環境
図１は、様々な実施形態における、超音波画像化のための処理システムの例示的なシステム環境を示す。図２は、様々な実施形態における、超音波画像化のための例示的なグラフィカルユーザインターフェースを示す。様々な実施形態において、システムは、ヘッドマウントディスプレイ（ＨＭＤ）デバイス１００、器具１１０（例えば、針、デバイスを血管に挿入するためのカニューレ、生検デバイス、または焼灼デバイス）、超音波プローブ１２０、および任意選択のディスプレイ１３０のうちの１つまたは複数を含む。システムはまた、ユーザ入力方法、任意の数の構成可能な超音波情報源、任意の数の構成可能な器具追跡情報源、デバイス間の通信手段、プロセッサ、および記憶デバイスのうちの１つまたは複数を含み得る。通信手段は、無線及び有線通信の任意の数の組み合わせを含む。
I. System Environment Figure 1 illustrates an exemplary system environment of a processing system for ultrasound imaging, according to various embodiments. Figure 2 illustrates an exemplary graphical user interface for ultrasound imaging, according to various embodiments. In various embodiments, the system includes one or more of a head mounted display (HMD)
超音波情報源は、複数の物理的デバイスから、または処置中の異なる時間、構成、および位置からの同じ物理的デバイスからであり得る。画像情報はまた、コンピュータ断層撮影（ＣＴ）または磁気共鳴撮像（ＭＲＩ）などの他の画像モダリティから導出されてもよい。様々な実施形態において、超音波情報源は、超音波プローブ１２０である。
The ultrasound information source may be from multiple physical devices or from the same physical device from different times, configurations, and locations during a procedure. Image information may also be derived from other imaging modalities such as computed tomography (CT) or magnetic resonance imaging (MRI). In various embodiments, the ultrasound information source is an
追跡情報源は、電磁（ＥＭ）、光学、超音波、慣性、磁力計、加速度計、または全地球測位システム（ＧＰＳ）センサを含むローカルまたはグローバル測位センサを含む。様々な実施形態において、電磁源は、超音波プローブ１２０に結合（例えば、剛体結合）されてもよく、さらに、電磁センサは、ＨＭＤ１００及び器具１１０に結合（例えば、剛体結合）されてもよい。結果として、処理システムは、電磁センサからのデータを使用して、超音波プローブ１２０の電磁源に対するＨＭＤ１００及び器具１１０の位置及び向きを追跡することができる。
The tracking information sources include local or global positioning sensors, including electromagnetic (EM), optical, ultrasonic, inertial, magnetometer, accelerometer, or Global Positioning System (GPS) sensors. In various embodiments, the electromagnetic source may be coupled (e.g., rigidly coupled) to the
ＨＭＤ１００は、ヘッドアップディスプレイまたは拡張現実ディスプレイとしてユーザに提示され得る超音波画像情報または器具情報をユーザが閲覧または対話するための手段を提供する。ＨＭＤの例としては、マイクロソフトのＨＯＬＯＬＥＮＳがある。 The HMD 100 provides a means for a user to view or interact with ultrasound image information or instrument information that may be presented to the user as a heads-up display or an augmented reality display. An example of an HMD is Microsoft's HOLOLENS.
処置情報の表示は、ＨＭＤ１００を通して達成され、処理システムの追跡に応答して情報源の位置で投影２００として表示され得る。図２に示される例において、超音波情報は、追跡された超音波画像平面内の超音波プローブの先端の投影２００（「プローブ先端ディスプレイ」）に表示される。別の態様において、超音波情報はまた、医師の作業領域を不明瞭にすることを防止するため、同じ方向（または回転した構成で）でツール先端からの設定可能なオフセットで表示され得る（「プローブロック表示」）。さらに、任意の追加的に追跡された器具は、感知された超音波に対する追跡された向き及び位置（「ポーズ」）で表示され得る。この追加的な器具情報には、システムの追跡情報に応答して、現在の方向および位置、現在の軌道に沿って前進した場合の投影された方向および位置、器具の交点までの距離、および交点の角度が含まれる。
Display of treatment information is accomplished through the HMD 100 and may be displayed as a
別の態様において、超音波および器具情報は、着用者に対する固定された向きでツール先端の位置に応答して表示され得る（「掲示（billboarded）」）。図２に示される例において、ＨＭＤ１００は、ヘッドアップディスプレイ２１０として掲示板表示をユーザに提示する。ある態様において、３Ｄ針先端ポーズは、超音波画像上に重ねて３Ｄで直接表示され、画像平面に対する針の距離、サイズ、及び角度を直感的に伝える。掲示板表示はまた、投影された針の軌道および画像平面との交点を示すことができる。別の態様において、２Ｄまたは３Ｄ注釈は、画像平面に重ねられ、画像内の画像平面への針の距離を変換し、これは、図６～図８に関してさらに説明される。
In another aspect, ultrasound and instrument information may be displayed in response to the tool tip position in a fixed orientation relative to the wearer ("billboarded"). In the example shown in FIG. 2, the HMD 100 presents the user with a billboard display as a heads-
いくつかの実施形態において、超音波および器具のポーズ、距離、および／または交点情報は、３Ｄコンテンツを２Ｄディスプレイにレンダリングする従来の技術を介して、ＨＭＤ１００の仮想環境に固定されているか、または医療環境内の物理ディスプレイデバイス１３０に追加的に表示され得る。ＨＭＤ１００、器具１１０、および超音波プローブ１２０の追跡情報は、画像の向きを自動的に変えるかまたは反転して使用され、掲示板表示、プローブ先端表示、およびプローブロック表示において正しい視点で表示し得る。
In some embodiments, ultrasound and instrument pose, distance, and/or intersection information may be fixed in the virtual environment of the
デバイスの追跡は、異なる空間的及び時間的解像度の追跡情報の複数のソースの全体の組み合わせによって達成される。デバイスは、ＨＭＤ１００、超音波画像源（例えば、超音波プローブ１２０）、及び１つまたは複数の医療器具１１０を含む。各追跡情報源は、異なる解像度及び異なる更新レートで、位置、向き、及び対応する速度及び加速度における任意の数の追跡情報の更新を提供する。一実施形態において、異なる電磁追跡センサはＨＭＤ１００及び器具１１０に取り付けられ、電磁基準源（electromagnetic reference source）は超音波プローブ１２０に取り付けられる。超音波プローブ１２０上の超音波基準源と器具１１０との間の距離は、例えば、ＥＭセンサデータのより低いノイズに起因して、超音波源とＨＭＤとの間の精度を改善するために減少または最小化される。任意の数の追加の電磁センサまたは基準源は、追跡情報の追加源を提供し、追跡精度を改善し得る。
Tracking of the device is achieved by a total combination of multiple sources of tracking information of different spatial and temporal resolutions. The device includes an
図３は、様々な実施形態における、ヘッドマウントディスプレイ１００上のセンサ位置を示す。いくつかの実施形態において、１つまたは複数の電磁センサまたはアンテナは、ＨＭＤ１００に結合され、ＨＭＤ１００と電磁基準源との間の角度及び距離の精度の処理システムの決定を改善する。図３に示される例において、ＨＭＤ１００は、右電磁センサ３００及び左電磁センサ３１０を含む。異なる空間的及び時間的解像度の追跡システムの整合及び較正は、異なるセンサの剛体変換または基準データセットを介した較正によって達成される。
Figure 3 shows sensor locations on the head mounted
一実施形態において、複数のセンサは、センサ間の既知または測定可能な距離および向きを有する剛体に固定され、各測定基準フレームからの情報の組み合わせを可能にする。この一例は、ＨＭＤ１００に取り付けられた電磁センサからカメラ測定基準フレームへの剛体変換である。この別の例は、電磁センサまたは基準に固定された光学追跡マーカー（例えば、既知のスケールのＱＲコード）である。これの別の例は、超音波画像平面内の器具（例えば、針）及び対応する電磁センサポーズの検出及び整合である。いくつかの実施形態において、ＨＭＤ１００は、飛行時間カメラ、同時ローカリゼーション及びマッピング、および１つまたは複数の電磁センサからのネイティブ空間追跡を提供する。
In one embodiment, the multiple sensors are fixed to a rigid body with known or measurable distances and orientations between the sensors, allowing for the combination of information from each measurement frame of reference. One example of this is a rigid body transformation from an electromagnetic sensor attached to the
ＩＩ．データ処理
図４は、様々な実施形態における、図１のシステム環境のブロック図である。ＨＭＤ１００は、ローカルスケールでの整合のための複数のセンサを含む。これには、任意の数の３Ｄ画像センサ（例えば、深度カメラ及びＬｉＤＡＲ）、光学画像センサ（２Ｄカメラ）、慣性センサ、及び電磁センサが含まれる。超音波プローブ１２０は、超音波画像センサ、電磁基準源、及び任意選択の慣性センサを含む。器具１１０は、任意選択の慣性センサ及び１つまたは複数の電磁センサを含む。いくつかの実施形態において、処理システム４００は、超音波プローブ１２０に結合された電磁基準源とは異なる１つまたは複数の電磁基準源からのＥＭセンサデータを使用する。例えば、別の電磁基準源は、システム環境内の固定源であり得る。
II. Data Processing Figure 4 is a block diagram of the system environment of Figure 1 in various embodiments. The
処理システム４００は、較正及びフィルタリングデータを使用して、各デバイス（すなわち、ＨＭＤ１００、超音波プローブ１２０、及び器具１１０）のローカルスケール変換を組み合わせて計算する。処理システム４００はさらに、複数のデバイス推定を組み合わせて、各ローカルデバイス、デバイス間、及びセンサ基準フレーム間の変換ならびに較正及びフィルタリングパラメータを更新する。異なるフィルタを使用することによって、処理システム４００は、ローカルスケールノイズ（デバイスレベルで）及びグローバルスケールノイズを低減することができ、これにより、処理システム４００は、測定誤差と、ＨＭＤ１００及び器具１１０などのデバイスの実際の移動とを区別することができる。２つの例示的な較正プロセスは、幾何学的制約較正及びハンドアイ較正を含む。
The
幾何学的制約較正は、ピボットポイントを中心とした器具の回転などの既知の形態が使用する。様々な実施形態において、処理システム４００は、幾何学的制約較正を使用して、器具１１０の先端の位置と器具１１０に結合されたＥＭセンサの位置との間のオフセット距離を考慮する。ＥＭセンサが必ずしも医療処置のために追跡される先端に結合されていないため、オフセットが存在する。
Geometric constraint calibration uses known forms such as rotation of the instrument about a pivot point. In various embodiments, the
３Ｄ情報の表面の整合は、反復最近点（ＩＰＣ）などの整合アルゴリズムを使用して達成されるか、またはレンダリングされた３Ｄデータ上の相互情報など統計的整合メトリックまたはスケール不変特徴変換（ＳＩＦＴ）またはスピードアップロバスト特徴（ＳＵＲＦ）などの特徴ベースのアプローチを使用して２Ｄから３Ｄに登録され得る。位置及び向き情報は、カルマンフィルタリングまたは粒子フィルタリングなどのフィルタリング技術を使用して、異なる時間レートからの情報を使用して補間され得る。フィルタリング技術（例えば、アンセンテッドカルマンフィルタリング）からの推定パラメータは、同じモダリティのセンサ間（例えば、電磁センサから電磁センサ）またはモダリティ間（例えば、電磁源基準から光学トラッカー基準へ）の剛体変換を推定および修正するために使用され得る。 Matching of the surfaces of the 3D information can be achieved using matching algorithms such as iterative closest point (IPC) or can be registered from 2D to 3D using statistical matching metrics such as mutual information on the rendered 3D data or feature-based approaches such as scale-invariant feature transform (SIFT) or speed-up robust features (SURF). Position and orientation information can be interpolated using information from different time rates using filtering techniques such as Kalman filtering or particle filtering. Estimated parameters from filtering techniques (e.g., unscented Kalman filtering) can be used to estimate and correct rigid body transformations between sensors of the same modality (e.g., electromagnetic sensor to electromagnetic sensor) or between modalities (e.g., electromagnetic source reference to optical tracker reference).
ハンドアイ較正（「ロボットワールド」または「ロボットセンサ」較正とも呼ばれる）アルゴリズムはまた、更新された推定値を改善して、各センサ間のモーメントアームの解を更新し得る。様々な実施形態において、処理システム４００は、ハンドアイ較正を使用して、座標系を異なる座標系にマッピングする。処理システム４００は、異なる座標系を有する複数のセンサ及びデバイスからデータを受信するため、処理システム４００は、１つまたは複数のマッピングを実行して、複数の源からデータを集約する。
A hand-eye calibration (also called "robot-world" or "robot-sensor" calibration) algorithm may also refine the updated estimates to update the solution for the moment arm between each sensor. In various embodiments, the
ハンドアイ較正において、処理システム４００は、フィルタリングアルゴリズムまたはフィルタリングアルゴリズムのアンサンブルを使用して各パラメータおよび変換推定を処理し、変換が更新されるときの応答を滑らかにすることができる。これらは、線形二次エスティメータ、拡張カルマンフィルタ、及びアンセンテッドカルマンフィルタを個別に、または組み合わせて、粒子フィルタを使用して前方予測することを含み得る。これらのコンポーネントは、環境の現在の推定モデル内の感知されたオブジェクトの現在の最良の推定モデルを提供する。
In hand-eye calibration, the
超音波画像及び器具ＥＭポーズにおける器具位置の抽出は、画像平面と器具位置との間の較正フィルタを更新するために使用され得る。さらに、この情報は、伝播する超音波の速度に関する周波数、深さ、および組織密度を含む超音波画像のパラメータを更新するために使用され得る。 Extraction of the instrument position in the ultrasound image and the instrument EM pose can be used to update the calibration filter between the image plane and the instrument position. Furthermore, this information can be used to update parameters of the ultrasound image including frequency, depth, and tissue density in relation to the speed of propagating ultrasound.
様々な実施形態において、処理システム４００は、組織の深さを使用し、異なる媒体を通る音速の変動に起因する任意の測定誤差を考慮する。超音波画像は、媒体（例えば、組織）を通って伝播する超音波の移動時間に基づくため、異なる組織の深さまたは密度は、処理システム４００によって予測される器具の交点に影響を与えることができる。較正中、処理システム４００は、特定の媒体または密度に関連付けられた補正係数を使用して、音の測定誤差の任意の速度を低減することができる。
In various embodiments, the
図５は、様々な実施形態における処理システム４００のデータフロー図である。処理システム４００は、画像整合データ、３Ｄ整合データ、及び複数のデバイス、すなわち、ＨＭＤ１００及び超音波プローブ１２０からの画像ベースの検出及び追跡データを集約するグローバルスケールエスティメータ５００を含む。超音波プローブ１２０は、ＥＭ基準源、ＩＭＵ、光学整合ターゲット、及び超音波画像センサのうちの１つまたは複数からのデータを処理するローカルスケールエスティメータ５１０を有する。ＨＭＤ１００は、ＥＭセンサ、ＩＭＵ、３Ｄ画像センサ、及び他のタイプの画像センサのうちの１つまたは複数からのデータを処理するローカルスケールエスティメータ５２０を有する。グローバルスケールエスティメータ５００をローカルスケールエスティメータ５１０および５２０と組み合わせて使用することにより、処理システム４００は、複数のデバイスの互いに対する異なる位置及び向きを同時に解くことができる。例えば、処理システム４００は、超音波プローブ１２０に対するＨＭＤ１００の位置及び向きを決定する。さらに、処理システム４００は、超音波プローブ１２０に対する１つまたは複数の器具１１０の位置及び向きを決定する。
5 is a data flow diagram of the
いくつかの実施形態において、処理システム４００は、反復最近接点（ＩＰＣ）などのマッチング方法を使用して、個々の（ローカル）追跡システムからのポイントデータを相関させる。この方法において、処理システム４００は、現在最もよく知られている時間対応及び各座標系間の幾何学変換を使用してデータ間のポイント対応を決定し、誤差を提供し、時間対応及び幾何学変換を更新する。
In some embodiments, the
別の実施形態において、処理システム４００は、異なる距離及び向きからのセンサ間で感知されたデータを使用して、各測定基準フレームからの変換を計算する。この一例は、異なる位置およびポーズからの超音波情報の整合である。この別の例は、ＨＭＤ１００および超音波情報からの３Ｄ体積または表面情報の整合である。３Ｄ情報は、飛行時間光学センシング、前処置ＣＴまたはＭＲＩなどのセンサを使用して直接検知されてもよく、または運動からの構造復元（ＳＦＭ）および自己位置推定とマッピングの同時実行（ＳＬＡＭ）などのアルゴリズムを使用して導出されてもよい。
In another embodiment, the
様々な実施形態において、処理システム４００は、予測された変換を使用して、これらのデバイスのそれぞれの間の変換を計算する。これらの変換は、粒子フィルタリング及び／またはカルマンフィルタリングなどのフィルタリングを使用して、更新間で補間されるか、または前方に予測される。これらの変換は、測定された剛体変換、および感知された情報からの推定変換を使用して更新される。これらの変換は、ＩＣＰなどの３Ｄ整合、もしくはＭＩまたはＳＩＦＴ／ＳＵＲＦなどの３Ｄから２Ｄへの技術を使用して更新され得る。３Ｄデータは、プローブから感知された超音波またはＨＭＤからの光学画像からＳＦＭまたはＳＬＡＭを使用して２Ｄデータから計算され得る。２Ｄデータは、物理ベースのレンダリングを使用して３Ｄから光学または超音波画像に計算され得る。
In various embodiments, the
各デバイスは、各センサ間の変換のローカルスケールを計算して、ローカルスケールエスティメータの一貫したローカル基準フレーム内の各デバイスのポーズ推定を提供する。処理システム４００は、複数のローカルスケールエスティメータからのデータを組み合わせて変換を計算することによって、ローカルスケールデータ間のグローバルスケール変換を計算する。さらに、グローバルスケールエスティメータ５００は、ローカルスケールエスティメータで使用される基準フレーム間の更新された変換を計算し、ポーズ推定を更新し得る。
Each device computes a local scale of transformation between each sensor to provide a pose estimate for each device in a consistent local reference frame for the local scale estimator. The
ＩＩＩ．ユーザインターフェースの例
図６は、様々な実施形態における、器具をナビゲートするための例示的なグラフィカルユーザインターフェースを示す図である。図示された使用例において、ユーザは、針器具１１０を、例えば、患者の静脈または他の身体部分上のターゲット交点までナビゲートしている。
III. Example User Interface Figure 6 illustrates an exemplary graphical user interface for navigating an instrument, according to various embodiments. In the illustrated use case, a user is navigating a
パネル６００は、器具先端が超音波画像平面６２０からの閾値距離の外側にあるときに、３Ｄで重ねた器具経路インジケータ６１０を示すユーザインターフェースを示す。器具経路インジケータ６１０は、器具の投影軌道である。処理システム４００は、例えば、センサデータに基づいて器具経路インジケータ６１０を更新し、器具のユーザ制御に応答して位置または向きの任意の変化を反映する。マーカー６３０は、超音波画像平面６２０上の器具経路インジケータ６１０の投影された交点を示す。器具経路インジケータ６１０は、デフォルトの色で塗りつぶされる（または色がない、例えば、透明である）。図６に示される例において、器具経路インジケータ６１０は円柱として示され、マーカー６３０は円として示されるが、他の実施形態において、器具経路インジケータ６１０及びマーカー６３０は、他のタイプの形状またはグラフィックを使用して示され得る。ユーザインターフェースはまた、他のタイプの２Ｄまたは３Ｄ注釈を含み得る。
パネル６４０は、器具先端が超音波画像平面６２０からの閾値距離の間にあるが、まだ超音波画像平面６２０と交差していないときの器具経路インジケータ６１０を示す。左山括弧と右山括弧との間の距離は、器具先端と超音波画像平面６２０との間の距離に比例する。「平面前方の色」で塗りつぶされた器具経路インジケータ６１０の部分６５０は、器具が超音波画像平面６２０からの閾値距離を越えてナビゲートした距離に比例する。器具経路インジケータ６１０の残りの部分は、デフォルトの色で塗りつぶされる。各山括弧の先端は、交点の方に向けられ、器具経路インジケータ６１０が超音波画像平面６２０の方に向けられていることを示す。図６に示される例において、左山括弧および右山括弧は、直角として示されるが、他の実施形態において、この一対のインジケータは、他の角度またはタイプの形状またはグラフィックを使用して示され得る。
パネル６６０は、器具先端が超音波画像平面６２０との交点に到達したときのユーザインターフェースを示す。左及び右山括弧は、マーカー６３０の中心で交差する。図６に示される例において、「平面前方の色」で陰影が付けられている器具経路インジケータ６１０の割合は、半分である。器具経路インジケータ６１０の残りの部分は、デフォルトの色で塗りつぶされている。
パネル６７０は、器具先端が超音波画像平面６２０を越えてナビゲートしたときのユーザインターフェースを示す。各山括弧の頂点は、交点及びマーカー６３０から離れる方向を向いており、器具経路が超音波画像平面６２０から離れる方向を向いていることを示す。この例のパネル６６０にも示されるように、「平面前方の色」で陰影が付けられている器具経路インジケータ６１０の割合は、半分のままである。より暗い「平面後方の色」で陰影付けされている器具経路インジケータ６１０の部分６８０は、超音波画像平面６２０を越えた器具先端の距離に比例する。器具経路インジケータ６１０の残りの部分は、デフォルトの色で塗りつぶされている。
図７は、様々な実施形態における、器具をナビゲートするための追加の例示的なグラフィカルユーザインターフェースを示す図である。パネル７００は、器具先端が超音波画像平面からの閾値距離の外側にあるときの、図６のパネル６００に示されるシナリオに対応する。パネル７１０は、器具先端が超音波画像平面との交点に到達するときの、図６のパネル６６０に示されるシナリオに対応する。パネル７２０は、器具先端が超音波画像平面を越えてナビゲートしたときの、図６のパネル６７０に示されるシナリオに対応する。
7 illustrates an additional exemplary graphical user interface for navigating an instrument, according to various embodiments.
図８は、様々な実施形態における、器具をナビゲートするためのヘッドアップディスプレイを示す図である。処理システム４００は、器具先端の位置に基づいて、ヘッドアップディスプレイ（ＨＭＤ１００によってユーザに提示される）を更新する。例えば、器具経路インジケータ、左山括弧、及び右山括弧の表示は、図６に関して以前に説明された異なるシナリオに従って更新される。
FIG. 8 illustrates a head-up display for navigating an instrument in various embodiments. The
ＩＶ．プロセスフローの例
図９は、様々な実施形態における、複数のセンサを使用して器具を追跡するためのプロセス９００のフローチャートである。処理システム４００は、プロセス９００を使用して、ＨＭＤ１００を装着し、器具１１０を制御するユーザに視覚的ガイダンスを提供し得る。
IV. EXAMPLE PROCESS FLOW Figure 9 is a flow chart of a
ステップ９１０において、処理システム４００は、ＨＭＤ１００に結合された（例えば、剛体結合された）第１の電磁センサからデータを受信し、超音波プローブ１２０に結合された（例えば、剛体結合）電磁基準源によって生成された電磁場を検出する。ステップ９２０において、処理システム４００は、医療器具１１０に結合された（例えば、剛体結合された）第２の電磁センサからデータを受信し、電磁場を検出する。様々な実施形態において、第１の電磁センサ及び第２の電磁センサは無線である。すなわち、電磁センサは、電磁基準源にハード配線されていない。システム環境は、任意の数の追加の無線電磁センサを含むことができる。システム環境はまた、電磁センサをＨＭＤ１００、超音波プローブ１２０、及び医療器具１１０などの他のデバイスに結合するための取り付けアクセサリを含むことができる。様々な実施形態において、処理システム４００は、電磁センサからのデータを、１つまたは複数のＩＭＵ、深度センサ、またはカメラなどの他のセンサによってキャプチャされたデータと共に集約する。
In
ステップ９３０において、処理システム４００は、第１の電磁センサからのデータを処理することによって、超音波プローブ１２０に対するＨＭＤ１００の位置を決定する。ステップ９４０において、処理システム４００は、第２の電磁センサからのデータを処理することによって、超音波プローブ１２０に対する医療器具１１０の位置を決定する。
In
ステップ９５０において、処理システム４００は、ＨＭＤ１００の位置及び医療器具１１０の位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された医療器具１１０の経路の視覚化を生成する。
In
ステップ９６０において、処理システム４００は、ＨＭＤ１００を装着しているユーザに、ＨＭＤ１００によって表示されるためのグラフィックを提供する。グラフィックは、超音波画像平面上に表示される超音波プローブ１２０によってキャプチャされた視覚化および画像データを含む。
In
図１０は、様々な実施形態における器具をナビゲートするためのプロセス１０００のフローチャートである。処理システム４００は、プロセス１０００を使用して、ＨＭＤ１００を装着し、器具１１０を制御するユーザに視覚的ガイダンスを提供し得る。
FIG. 10 is a flowchart of a
ステップ１０１０において、処理システム４００は、超音波画像平面の画像データを受信する。画像データは、超音波プローブ１２０または別の超音波画像センサによってキャプチャされる。ステップ１０２０において、処理システム４００は、超音波画像平面に対する医療器具１１０の位置を決定する。ステップ１０３０において、処理システム４００は、超音波画像平面に対する医療器具１１０の向きを決定する。ステップ１０４０において、処理システム４００は、医療器具１１０の位置及び向きに基づいて、医療器具１１０の軌道を決定する。
In
ステップ１０５０おいて、ＨＭＤ１００は、医療器具１１０の軌道を示す器具経路を表示する。ステップ１０６０において、処理システム４００は、軌道に沿った医療器具１１０の更新された位置に基づいて、医療器具１１０が超音波画像平面上の交点に到達したと決定する。ステップ１０７０において、ＨＭＤ１００は、医療器具１１０が超音波画像平面上の交点に到達したことを示す器具経路の更新されたバージョンを表示する。
In
Ｖ．代替の考慮事項
本発明の実施形態の前述の説明は、例示の目的で提示されており、網羅的であること、または開示された正確な形態に限定することは、意図されていない。関連技術分野の当業者は、上記の開示に照らして多くの修正及び変形が可能であることを理解することができる。
V. Alternative Considerations The foregoing description of embodiments of the invention has been presented for purposes of illustration and is not intended to be exhaustive or to be limited to the precise form disclosed. Those skilled in the relevant art will recognize that many modifications and variations are possible in light of the above disclosure.
この説明のある部分は、情報に対する動作のアルゴリズムおよび記号表現の観点から本発明の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理技術の当業者によって、その作業の内容を他の当業者に効果的に伝えるために一般的に使用されている。これらの動作は、機能的、計算的、または論理的に説明されている一方で、コンピュータプログラムもしくは等価の電気回路、またはマイクロコードなどによって実装されると理解される。さらに、また、普遍性を失うことなく、時にはこれらの動作の配列をモジュールと称することが便利な場合もある。説明される動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具現化され得る。 Some portions of this description describe embodiments of the invention in terms of algorithms and symbolic representations of operations on information. These algorithmic descriptions and representations are commonly used by those skilled in the data processing arts to effectively convey the substance of their work to others skilled in the art. While these operations have been described functionally, computationally, or logically, they will be understood to be implemented by computer programs or equivalent electrical circuits, or microcode, or the like. Further, and without loss of generality, it is sometimes convenient to refer to arrangements of these operations as modules. The described operations and their associated modules may be embodied in software, firmware, hardware, or any combination thereof.
本明細書で説明される任意のステップ、動作、またはプロセスは、単独でまたは他のデバイスと組み合わせることで、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて実行または実装されてよい。一実施形態において、ソフトウェアモジュールは、説明される任意のまたはすべてのステップ、動作、またはプロセスを実行するコンピュータプロセッサによって実行されることが可能であるコンピュータプログラムコードを含む非一時的なコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。 Any step, operation, or process described herein may be performed or implemented using one or more hardware or software modules, alone or in combination with other devices. In one embodiment, the software modules are implemented in a computer program product that includes a non-transitory computer-readable medium that includes computer program code that can be executed by a computer processor to perform any or all steps, operations, or processes described.
本発明の実施形態はまた、本明細書で説明されるコンピューティングプロセスによって生成される製品に関する場合がある。このような製品は、コンピューティングプロセスから生じる情報を含むことができ、ここで、この情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、本明細書で説明されるコンピュータプログラム製品、または他のデータの組み合わせの任意の実施形態を含むことができる。 Embodiments of the invention may also relate to products produced by the computing processes described herein. Such products may include information resulting from the computing processes, where the information is stored on a non-transitory, tangible computer-readable storage medium, and may include any embodiment of the computer program product described herein, or other data combinations.
最後に、明細書で用いられる文言は、主に読み易さおよび説明を目的として選択されたものであり、発明の主題を描写または制限するために選択されていない場合がある。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づいた出願で発行される特許請求の範囲によって限定されることが意図されている。したがって、本発明の実施形態の開示は、以下の特許請求の範囲に記載される本発明の範囲をするものではなく、例示することを意図している。 Finally, the language used in the specification has been selected primarily for ease of reading and explanation, and may not have been selected to delineate or limit the subject matter of the invention. Accordingly, it is intended that the scope of the invention be limited not by this detailed description, but by the claims that issue in an application based on this specification. Accordingly, the disclosure of embodiments of the invention is intended to illustrate, but not to limit, the scope of the invention, which is set forth in the following claims.
Claims (18)
医療器具に結合された第２の電磁センサからデータを受信し、前記電磁場を検出するステップと、
前記第１の電磁センサからの前記データを処理することによって、前記超音波プローブに対する前記ＨＭＤの位置を決定するステップと、
前記第２の電磁センサからの前記データを処理することによって、前記超音波プローブに対する前記医療器具の位置を決定するステップと、
前記ＨＭＤの前記位置および前記医療器具の前記位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された前記医療器具の経路の視覚化を生成するステップと、
前記ＨＭＤを装着しているユーザに、前記ＨＭＤによって表示されるためのグラフィックを提供するステップであって、前記グラフィックは、前記超音波画像平面上に表示される前記超音波プローブによってキャプチャされた前記視覚化および画像データを含む、グラフィックを提供するステップと、
を含む方法。 receiving data from a first electromagnetic sensor coupled to a head mounted display (HMD) and detecting an electromagnetic field generated by an electromagnetic reference source coupled to the ultrasound probe;
receiving data from a second electromagnetic sensor coupled to the medical instrument to detect the electromagnetic field;
determining a position of the HMD relative to the ultrasound probe by processing the data from the first electromagnetic sensor;
determining a position of the medical instrument relative to the ultrasound probe by processing the data from the second electromagnetic sensor;
generating a visualization of a path of the medical instrument oriented relative to an ultrasound image plane based at least in part on the position of the HMD and the position of the medical instrument;
providing a user wearing the HMD with a graphic for display by the HMD, the graphic including the visualization and image data captured by the ultrasound probe displayed on the ultrasound image plane;
The method includes:
前記第１の電磁センサからの前記データと前記第３の電磁センサからの前記データを処理することによって、前記第１の磁気センサと前記第２の磁気センサとの間の差動信号に基づいて前記ＨＭＤの向きを決定するステップと、
をさらに含む、請求項１に記載の方法。 receiving data from a third electromagnetic sensor coupled to the HMD to detect the electromagnetic field generated by the electromagnetic reference source coupled to the ultrasound probe;
determining an orientation of the HMD based on a differential signal between the first magnetic sensor and the second magnetic sensor by processing the data from the first electromagnetic sensor and the data from the third electromagnetic sensor;
The method of claim 1 further comprising:
前記ＨＭＤの第３の座標系を前記超音波プローブの前記第２の座標系にマッピングするための第２の変換を決定するステップと、をさらに含み、
前記視覚化は、前記第１の変換及び前記第２の変換を用いて生成される、請求項１乃至６のいずれか一項に記載の方法。 determining a first transformation for mapping a first coordinate system of the medical instrument to a second coordinate system of the ultrasound probe;
determining a second transformation for mapping a third coordinate system of the HMD to the second coordinate system of the ultrasound probe;
The method of claim 1 , wherein the visualization is generated using the first transformation and the second transformation.
ヘッドマウントディスプレイ（ＨＭＤ）に結合された第１の電磁センサからデータを受信し、超音波プローブに結合された電磁基準源によって生成された電磁場を検出することと、
医療器具に結合された第２の電磁センサからデータを受信し、前記電磁場を検出することと、
前記第１の電磁センサからの前記データを処理することによって、前記超音波プローブに対する前記ＨＭＤの位置を決定することと、
前記第２の電磁センサからの前記データを処理することによって、前記超音波プローブに対する前記医療器具の位置を決定することと、
前記ＨＭＤの前記位置および前記医療器具の前記位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された前記医療器具の経路の視覚化を生成することと、
前記ＨＭＤを装着しているユーザに、前記ＨＭＤによって表示されるためのグラフィックを提供することであって、前記グラフィックは、前記超音波画像平面上に表示される前記超音波プローブによってキャプチャされた前記視覚化および画像データを含む、グラフィックを提供することと、
を行わせる、非一時的なコンピュータ可読記憶媒体。 A non-transitory computer-readable storage medium having stored thereon instructions that, when executed by one or more processors, cause the one or more processors to:
receiving data from a first electromagnetic sensor coupled to a head mounted display (HMD) and detecting an electromagnetic field generated by an electromagnetic reference source coupled to the ultrasound probe;
receiving data from a second electromagnetic sensor coupled to the medical instrument to detect the electromagnetic field;
determining a position of the HMD relative to the ultrasound probe by processing the data from the first electromagnetic sensor;
determining a position of the medical instrument relative to the ultrasound probe by processing the data from the second electromagnetic sensor;
generating a visualization of a path of the medical instrument oriented relative to an ultrasound image plane based at least in part on the position of the HMD and the position of the medical instrument;
providing a user wearing the HMD with a graphic for display by the HMD, the graphic including the visualization and image data captured by the ultrasound probe displayed on the ultrasound image plane;
A non-transitory computer-readable storage medium that causes
ヘッドマウントディスプレイ（ＨＭＤ）に結合され、前記電磁場を検出するように構成された第１の電磁センサと、
医療器具に結合され、前記電磁場を検出するように構成された第２の電磁センサと、
命令を格納する非一時的なコンピュータ可読記憶媒体あって、前記命令は、１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに、
前記第１の電磁センサからのデータを処理することによって、前記超音波プローブに対する前記ＨＭＤの位置を決定することと、
前記第２の電磁センサからのデータを処理することによって、前記超音波プローブに対する前記医療器具の位置を決定することと、
前記ＨＭＤの前記位置および前記医療器具の前記位置に少なくとも部分的に基づいて、超音波画像平面に対して配向された前記医療器具の経路の視覚化を生成することと、
前記ＨＭＤを装着しているユーザに、前記ＨＭＤによって表示されるためのグラフィックを提供することであって、前記グラフィックは、前記超音波画像平面上に表示される前記超音波プローブによってキャプチャされた前記視覚化および画像データを含む、グラフィックを提供することと、
を行わせる、前記コンピュータ可読記憶媒体と、
を備えたシステム。 an electromagnetic reference source coupled to the ultrasound probe and configured to generate an electromagnetic field;
a first electromagnetic sensor coupled to a head mounted display (HMD) and configured to detect the electromagnetic field;
a second electromagnetic sensor coupled to the medical instrument and configured to detect the electromagnetic field;
A non-transitory computer-readable storage medium storing instructions that, when executed by one or more processors, cause the one or more processors to:
determining a position of the HMD relative to the ultrasound probe by processing data from the first electromagnetic sensor;
determining a position of the medical instrument relative to the ultrasound probe by processing data from the second electromagnetic sensor;
generating a visualization of a path of the medical instrument oriented relative to an ultrasound image plane based at least in part on the position of the HMD and the position of the medical instrument;
providing a user wearing the HMD with a graphic for display by the HMD, the graphic including the visualization and image data captured by the ultrasound probe displayed on the ultrasound image plane;
The computer-readable storage medium causes
A system equipped with.
前記超音波画像平面に対する医療器具の位置を決定するステップと、
前記超音波画像平面に対する前記医療器具の向きを決定するステップと、
前記医療器具の前記位置および前記向きに基づいて、前記医療器具の軌道を決定するステップと、
ヘッドマウントディスプレイ（ＨＭＤ）によって、前記医療器具の前記軌道を示す器具経路を表示するステップと、
前記軌道に沿った前記医療器具の更新された位置に基づいて、前記医療器具が前記超音波画像平面上の交点に到達したと決定するステップと、
前記ＨＭＤによって、前記医療器具が前記超音波画像平面上の前記交点に到達したことを示す前記器具経路の更新されたバージョンを表示するステップと、
を含む方法。 receiving image data for an ultrasound image plane;
determining a position of a medical instrument relative to the ultrasound image plane;
determining an orientation of the medical instrument relative to the ultrasound image plane;
determining a trajectory of the medical instrument based on the position and the orientation of the medical instrument;
displaying, by a head mounted display (HMD), an instrument path indicating the trajectory of the medical instrument;
determining, based on an updated position of the medical instrument along the trajectory, that the medical instrument has reached an intersection point on the ultrasound image plane;
displaying, by the HMD, an updated version of the instrument path indicating that the medical instrument has reached the intersection point on the ultrasound image plane;
The method includes:
前記ＨＭＤによって、前記医療器具が前記超音波画像平面上の前記交点を通過して移動したことを示す前記器具経路の別の更新されたバージョンを表示するステップと、をさらに含む、請求項１３に記載の方法。 determining that the medical instrument has moved through the intersection point on the ultrasound image plane;
14. The method of claim 13, further comprising: displaying, by the HMD, another updated version of the instrument path indicating that the medical instrument has moved through the intersection point on the ultrasound image plane.
超音波画像平面の画像データを受信することと、
前記超音波画像平面に対する医療器具の位置を決定することと、
前記超音波画像平面に対する前記医療器具の向きを決定することと、
前記医療器具の前記位置および前記向きに基づいて、前記医療器具の軌道を決定することと、
ヘッドマウントディスプレイ（ＨＭＤ）による表示のために、前記医療器具の前記軌道を示す器具経路を提供することと、
前記軌道に沿った前記医療器具の更新された位置に基づいて、前記医療器具が前記超音波画像平面上の交点に到達したと判定することと、
前記ＨＭＤによる表示のために、前記医療器具が前記超音波画像平面上の前記交点に到達したことを示す前記器具経路の更新されたバージョンを提供することと、
を行わせる、非一時的なコンピュータ可読記憶媒体。 A non-transitory computer-readable storage medium having stored thereon instructions that, when executed by one or more processors, cause the one or more processors to:
receiving image data of an ultrasound image plane;
determining a position of a medical instrument relative to the ultrasound image plane;
determining an orientation of the medical instrument relative to the ultrasound image plane;
determining a trajectory of the medical instrument based on the position and the orientation of the medical instrument;
providing an instrument path indicating the trajectory of the medical instrument for display by a head mounted display (HMD);
determining that the medical instrument reaches an intersection point on the ultrasound image plane based on an updated position of the medical instrument along the trajectory;
providing an updated version of the instrument path for display by the HMD indicating that the medical instrument has reached the intersection point on the ultrasound image plane; and
A non-transitory computer-readable storage medium that causes
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163186393P | 2021-05-10 | 2021-05-10 | |
| US63/186,393 | 2021-05-10 | ||
| PCT/US2022/028384 WO2022240770A1 (en) | 2021-05-10 | 2022-05-09 | Multiscale ultrasound tracking and display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024518533A true JP2024518533A (en) | 2024-05-01 |
Family
ID=83900973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023570093A Pending JP2024518533A (en) | 2021-05-10 | 2022-05-09 | Multi-scale Ultrasound Tracking and Display |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220354462A1 (en) |
| EP (1) | EP4337125A1 (en) |
| JP (1) | JP2024518533A (en) |
| CN (1) | CN117915852A (en) |
| CA (1) | CA3219946A1 (en) |
| WO (1) | WO2022240770A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058146B (en) * | 2023-10-12 | 2024-03-29 | 广州索诺星信息科技有限公司 | Ultrasonic data safety supervision system and method based on artificial intelligence |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8241274B2 (en) * | 2000-01-19 | 2012-08-14 | Medtronic, Inc. | Method for guiding a medical device |
| WO2009094646A2 (en) * | 2008-01-24 | 2009-07-30 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image guided ablation |
| US8554307B2 (en) * | 2010-04-12 | 2013-10-08 | Inneroptic Technology, Inc. | Image annotation in image-guided medical procedures |
| US8641621B2 (en) * | 2009-02-17 | 2014-02-04 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
| US8556815B2 (en) * | 2009-05-20 | 2013-10-15 | Laurent Pelissier | Freehand ultrasound imaging systems and methods for guiding fine elongate instruments |
| US20130267838A1 (en) * | 2012-04-09 | 2013-10-10 | Board Of Regents, The University Of Texas System | Augmented Reality System for Use in Medical Procedures |
| EP4383272A2 (en) * | 2014-02-21 | 2024-06-12 | The University of Akron | Imaging and display system for guiding medical interventions |
| US10188467B2 (en) * | 2014-12-12 | 2019-01-29 | Inneroptic Technology, Inc. | Surgical guidance intersection display |
| US9675319B1 (en) * | 2016-02-17 | 2017-06-13 | Inneroptic Technology, Inc. | Loupe display |
| CN109069208B (en) * | 2016-03-14 | 2023-02-28 | ***·R·马赫福兹 | Ultra-wideband positioning for wireless ultrasound tracking and communication |
| US11911144B2 (en) * | 2017-08-22 | 2024-02-27 | C. R. Bard, Inc. | Ultrasound imaging system and interventional medical device for use therewith |
| US11484365B2 (en) * | 2018-01-23 | 2022-11-01 | Inneroptic Technology, Inc. | Medical image guidance |
| US10869727B2 (en) * | 2018-05-07 | 2020-12-22 | The Cleveland Clinic Foundation | Live 3D holographic guidance and navigation for performing interventional procedures |
| US10854005B2 (en) * | 2018-09-05 | 2020-12-01 | Sean A. Lisse | Visualization of ultrasound images in physical space |
| US11439358B2 (en) * | 2019-04-09 | 2022-09-13 | Ziteo, Inc. | Methods and systems for high performance and versatile molecular imaging |
| US20200352655A1 (en) * | 2019-05-06 | 2020-11-12 | ARUS Inc. | Methods, devices, and systems for augmented reality guidance of medical devices into soft tissue |
| WO2021087027A1 (en) * | 2019-10-30 | 2021-05-06 | Smith & Nephew, Inc. | Synchronized robotic arms for retracting openings in a repositionable manner |
-
2022
- 2022-05-09 CA CA3219946A patent/CA3219946A1/en active Pending
- 2022-05-09 CN CN202280040926.6A patent/CN117915852A/en active Pending
- 2022-05-09 JP JP2023570093A patent/JP2024518533A/en active Pending
- 2022-05-09 EP EP22808136.0A patent/EP4337125A1/en active Pending
- 2022-05-09 US US17/740,191 patent/US20220354462A1/en active Pending
- 2022-05-09 WO PCT/US2022/028384 patent/WO2022240770A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022240770A1 (en) | 2022-11-17 |
| EP4337125A1 (en) | 2024-03-20 |
| CN117915852A (en) | 2024-04-19 |
| US20220354462A1 (en) | 2022-11-10 |
| CA3219946A1 (en) | 2022-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9107698B2 (en) | Image annotation in image-guided medical procedures | |
| EP3081184B1 (en) | System and method for fused image based navigation with late marker placement | |
| US10238361B2 (en) | Combination of ultrasound and x-ray systems | |
| US8248414B2 (en) | Multi-dimensional navigation of endoscopic video | |
| US8248413B2 (en) | Visual navigation system for endoscopic surgery | |
| US7824328B2 (en) | Method and apparatus for tracking a surgical instrument during surgery | |
| US7945310B2 (en) | Surgical instrument path computation and display for endoluminal surgery | |
| US20080123910A1 (en) | Method and system for providing accuracy evaluation of image guided surgery | |
| WO2019217795A4 (en) | Live 3d holographic guidance and navigation for performing interventional procedures | |
| US20080071141A1 (en) | Method and apparatus for measuring attributes of an anatomical feature during a medical procedure | |
| CN107111875B (en) | Feedback for multi-modal auto-registration | |
| US20090221907A1 (en) | Location system with virtual touch screen | |
| EP3009096A1 (en) | Method and system for displaying the position and orientation of a linear instrument navigated with respect to a 3D medical image | |
| BR112014020960B1 (en) | System for real-time processing of a pointer movement provided by a pointing device; workstation or image forming apparatus and method for real-time processing of a pointer movement provided by a pointing device | |
| US20220354462A1 (en) | Multiscale ultrasound tracking and display | |
| US20230065505A1 (en) | System and method for augmented reality data interaction for ultrasound imaging | |
| US12023109B2 (en) | Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system | |
| US20230248441A1 (en) | Extended-reality visualization of endovascular navigation | |
| US12011239B2 (en) | Real time image guided portable robotic intervention system | |
| CN116758248A (en) | Method, device, equipment and medium for correcting augmented reality ToF depth sensor |