JP2024515068A - 介入装置のナビゲート - Google Patents
介入装置のナビゲート Download PDFInfo
- Publication number
- JP2024515068A JP2024515068A JP2023562168A JP2023562168A JP2024515068A JP 2024515068 A JP2024515068 A JP 2024515068A JP 2023562168 A JP2023562168 A JP 2023562168A JP 2023562168 A JP2023562168 A JP 2023562168A JP 2024515068 A JP2024515068 A JP 2024515068A
- Authority
- JP
- Japan
- Prior art keywords
- interventional device
- neural network
- time steps
- future
- positions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 110
- 238000000034 method Methods 0.000 claims abstract description 83
- 210000003484 anatomy Anatomy 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims description 62
- 210000004027 cell Anatomy 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 37
- 238000009826 distribution Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 238000002583 angiography Methods 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 9
- 238000003384 imaging method Methods 0.000 description 21
- 210000005166 vasculature Anatomy 0.000 description 15
- 230000004913 activation Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010968 computed tomography angiography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000005249 arterial vasculature Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000013152 interventional procedure Methods 0.000 description 2
- 238000002608 intravascular ultrasound Methods 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 2
- 238000013175 transesophageal echocardiography Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000002254 renal artery Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000001635 urinary tract Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
- A61B2090/3735—Optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
- A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
- A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Surgery (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Robotics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供するコンピュータ実装方法は、1つ又は複数の時間ステップt1..nにおける介入装置120の形状を表す介入装置形状データ110を受信するステップS110であって、時間ステップが少なくとも現在の時間ステップtnを含む、ステップと、介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来位置140、及び1つ又は複数の未来位置に対する対応する信頼度推定値150を予測するようにトレーニングされたニューラルネットワーク130に、介入装置形状データ110を入力するステップS120とを含む。
Description
本開示は、解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供することに関する。コンピュータ実装方法、コンピュータプログラム製品、及びシステムが、開示される。
低侵襲介入処置は、典型的には外部撮像モダリティのガイダンス下で、解剖学的構造内で介入装置をナビゲートすることを伴う。例えば、ガイドワイヤ及びカテーテルなどの介入装置は、外部X線、超音波、又は磁気共鳴撮像「MRI」撮像モダリティからの撮像ガイダンスの下で、血管系を通してナビゲートされることが多い。そのような撮像システムは、介入装置、及びある程度、周囲の解剖学的構造を視覚化する能力を提供する。しかしながら、解剖学的構造内の介入装置のナビゲーションは、困難なままである。ガイドワイヤ及びカテーテルなどの介入装置は、多くの場合、長くかつ可撓性であり、典型的には、介入装置の近位端の操作と、結果として得られる、解剖学的構造内の介入装置の遠位端の動きとの間に一対一の対応が存在しない。例えば、分岐部をカニューレ処置するために血管系内でガイドワイヤをナビゲートするとき、医師は、典型的には、遠位端で所望の動きをもたらすためにガイドワイヤをねじり、それを前後に動かすことによって、ガイドワイヤの近位端を操作する。医師は、ガイドワイヤの遠位端を分岐部の所望の枝にガイドするために、ライブX線画像でガイドワイヤの遠位端を見ながら、これらの操作を複数回繰り返してもよい。
いくつかの例では、介入装置の近位端は、医師が介入装置の遠位端を直接的に取り扱うことによって手動で操作される。他の例では、医師は、介入装置の近位端との機械的インターフェースを提供するロボットコントローラを手動で制御する。さらに他の例では、ロボットコントローラが、介入装置の近位端を自動的に操作する。解剖学的構造内で介入装置の遠位端を並進及び/又は回転させるためにガイドワイヤの近位端を把持するローラ及び/又はフィンガを使用するロボットコントローラが、この目的のために知られている。
しかしながら、解剖学的構造内の介入装置のナビゲーションにおける改善の必要性が残っている。
本開示の一態様によれば、解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供するコンピュータ実装方法が、提供される。本方法は、
1つ又は複数の時間ステップにおいて介入装置の形状を表す介入装置形状データを受信するステップであって、時間ステップは、少なくとも現在の時間ステップを含む、ステップと、
介入装置形状データから、1つ又は複数の未来の時間ステップにおける介入装置の1つ又は複数の部分の未来の位置と、1つ又は複数の未来の位置の対応する信頼度推定値とを予測するようにトレーニングされたニューラルネットワークに介入装置形状データを入力するステップと、
介入装置の各部分の予測された1つ又は複数の未来の位置と、予測された1つ又は複数の未来の位置の対応する予測された信頼度推定値とを表示するステップと、
を含む。
1つ又は複数の時間ステップにおいて介入装置の形状を表す介入装置形状データを受信するステップであって、時間ステップは、少なくとも現在の時間ステップを含む、ステップと、
介入装置形状データから、1つ又は複数の未来の時間ステップにおける介入装置の1つ又は複数の部分の未来の位置と、1つ又は複数の未来の位置の対応する信頼度推定値とを予測するようにトレーニングされたニューラルネットワークに介入装置形状データを入力するステップと、
介入装置の各部分の予測された1つ又は複数の未来の位置と、予測された1つ又は複数の未来の位置の対応する予測された信頼度推定値とを表示するステップと、
を含む。
本開示の更なる態様、特徴、及び利点は、添付の図面を参照してなされる例の以下の説明から明らかになるであろう。
本開示の例は、以下の説明及び図面を参照して提供される。この説明では、説明の目的のために、特定の例の多くの具体的な詳細が、説明される。本明細書において、「例」、「実施態様」、又は同様の言語への言及は、例に関連して説明される特徴、構造、又は特性が少なくともその1つの例に含まれることを意味する。また、1つの例に関連して説明された特徴は、別の例においても使用され得、すべての特徴が、簡潔さのために各例において必ずしも繰り返されないことを理解されたい。例えば、コンピュータ実装方法に関連して説明される特徴は、対応する形で、コンピュータプログラム製品において、及びシステムにおいて実装され得る。
以下の説明では、解剖学的構造内で介入装置をナビゲートすることに関するコンピュータ実装方法が、参照される。介入装置が血管系内でナビゲートされる例が、参照される。この点に関して、本方法は、血管系の静脈、動脈、又は心臓領域内で介入装置をナビゲートするために使用され得ることを理解されたい。ガイドワイヤの形態の介入装置が血管系内でナビゲートされる例が、参照される。しかしながら、これらの例は、純粋に例示的なものであり、本方法は、カテーテル、血管内超音波「IVUS」及び光干渉断層撮影「OCT」撮像カテーテルを含む血管内撮像カテーテル、経食道心エコー「TEE」撮像プローブ、血管内血圧検知装置、血管内血流量センサ装置などを含む、血管系内の他のタイプの介入装置をナビゲートするために使用され得ることを理解されたい。
しかしながら、本明細書に開示される方法は、同様の形で、解剖学的構造内の他の管腔内の介入装置をナビゲートするために使用され得ることも理解されたい。例えば、本方法は、消化管、気道、尿路などの中の介入装置をナビゲートするために使用され得る。
本明細書では、介入装置が介入装置の近位端を手で操作することによってナビゲートされる例も、参照される。しかしながら、本明細書に開示される方法は、介入装置の近位端が手動で又はロボットコントローラによって自動的に操作されるときに、介入装置のナビゲーションをガイドするために同様の形で使用され得ることも理解されたい。
本明細書で開示されるコンピュータ実装方法は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに本方法を実行させる、コンピュータ可読命令を記憶する非一時的コンピュータ可読記憶媒体として提供され得ることに留意されたい。言い換えれば、コンピュータ実装方法は、コンピュータプログラム製品において実装され得る。コンピュータプログラム製品は、専用ハードウェア、又は適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアによって提供されることができる。プロセッサによって提供されるとき、方法の特徴の機能は、単一の専用プロセッサによって、又は単一の共用プロセッサによって、又はそのうちのいくつかが共有されることができる複数の個々のプロセッサによって提供されることができる。「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものとして解釈されるべきではなく、デジタル信号プロセッサ「DSP」ハードウェア、ソフトウェアを記憶するための読取専用メモリ「ROM」、ランダムアクセスメモリ「RAM」、不揮発性記憶装置などを暗黙的に含むことができるが、これらに限定されない。更に、本開示の例は、コンピュータ使用可能記憶媒体、又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態をとることができ、コンピュータプログラム製品は、コンピュータ又は任意の命令実行システムによって、又はそれらと関連して使用するためのプログラムコードを提供する。本説明の目的のために、コンピュータ使用可能記憶媒体又はコンピュータ可読記憶媒体は、命令実行システム、機器、又は装置によって、又はそれに関連して使用するためのプログラムを有する、記憶する、通信する、伝播する、又は移送することができる任意の装置であることができる。媒体は、電子、磁気、光学、電磁、赤外、又は半導体システム又は装置又は伝搬媒体であることができる。コンピュータ可読媒体の例は、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ「RAM」、読取専用メモリ「ROM」、剛体磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読取専用メモリ「CD-ROM」、コンパクトディスク読取/書込「CD-R/W」、Blu-Ray(登録商標)、及びDVDを含む。
上述のように、解剖学的構造内の介入装置の操作は、困難である可能性がある。これは、ガイドワイヤ及びカテーテルなどの介入装置が、多くの場合、長くかつ可撓性であり、典型的には、介入装置の近位端の操作と、結果として生じる、解剖学的構造内の介入装置の遠位端の動きとの間に一対一の対応が存在しないためである。
一例として、血管内処置は、多くの場合、心血管系内の特定場所への介入装置のナビゲーションを必要とする。ナビゲーションは、アクセスポイント、例えば、大腿部、上腕部、橈骨部、頸部、足などの領域で開始し、医師は、血管木を介して介入装置を所望の位置までナビゲートする。血管の解剖学的構造は、非常に複雑であり、対象の処置前画像が、しばしば、解剖学的構造内で介入装置を後でガイドする際に医師によって使用するために生成される。コンピュータトモグラフィ血管造影「CTA」画像、又は磁気共鳴血管造影「MRA」画像は、この目的のためにしばしば生成される。
一例として、図1は、腹部動脈血管系を表す処置前CTA画像の一例を示す。図1に示されるCT血管造影画像は、造影剤の注入後に患者に対してCT撮像を実行することによって得られる。造影剤は、血管内管腔及びその中の血液のX線減衰係数と水のX線減衰係数との類似性のために、CT画像では不可視であろう、血管系内の管腔を強調する。
介入装置の挿入中、外部、すなわち体外撮像システムからの処置中画像は、典型的には解剖学的構造内で介入装置をナビゲートするために使用される。処置中画像は、この目的のために、X線撮像システム、又はMRI撮像システム、もしくは超音波撮像システムなどの別の外部撮像システムによって生成されてもよい。X線撮像システムの例では、造影剤が、血管系を視覚化するために再び使用されてもよい。場合によっては、デジタルサブトラクション血管造影「DSA」画像が、そわなければ血管系の視覚化を混乱させ得る骨などの背景画像特徴を除去することによって、視覚化を改善するために生成されてもよい。DSA画像は、造影剤が注入された後に生成される血管系のX線画像から、血管系への造影剤の注入の前に生成される血管系のX線画像のX線画像強度値を減算することによって生成される。
一例として、図2は、血管系の一部分の処置中DSA画像の一例を示し、光陰影領域として強調表示されたガイドワイヤ120を含む。血管系内でガイドワイヤをナビゲートするとき、医師は、典型的には造影剤のパルスを注入する一方で、図2に示されるようなライブDSA画像が成される。これは、医師がガイドワイヤの近位端の操作から生じる、ガイドワイヤの遠位端に対する効果を直ちに見ることを可能にする。しかしながら、ガイドワイヤの近位端の操作と、その結果として生じるガイドワイヤの遠位端の動きとの間に一対一の対応が、存在しないので、医師は、しばしば、遠位端において所望の動きをもたらすために、ガイドワイヤをねじり、それを前後に動かすことによって、ガイドワイヤの近位端を操作しなければならない。
本発明者らは、上記の例で説明されたようなガイドワイヤなどの介入装置を解剖学的構造内でナビゲートするためのナビゲーションガイダンスを提供する改善された方法を決定した。図3は、本開示のいくつかの態様による、解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供する方法の一例を示す。図3を参照すると、本方法は、
1つ又は複数の時間ステップt1..nで介入装置120の形状を表す介入装置形状データ110を受信するステップS110であって、時間ステップは、少なくとも現在の時間ステップtnを含む、ステップと、
介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来の位置140と、1つ又は複数の未来の位置140に対する対応する信頼度推定値150とを予測するようにトレーニングされたニューラルネットワーク130に、介入装置形状データ110を入力するステップS120と、
介入装置120の各部分の予測された1つ又は複数の未来の位置140と、予測された1つ又は複数の未来の位置140に対する対応する予測された信頼度推定値150とを表示するステップS130と、
を含む。
1つ又は複数の時間ステップt1..nで介入装置120の形状を表す介入装置形状データ110を受信するステップS110であって、時間ステップは、少なくとも現在の時間ステップtnを含む、ステップと、
介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来の位置140と、1つ又は複数の未来の位置140に対する対応する信頼度推定値150とを予測するようにトレーニングされたニューラルネットワーク130に、介入装置形状データ110を入力するステップS120と、
介入装置120の各部分の予測された1つ又は複数の未来の位置140と、予測された1つ又は複数の未来の位置140に対する対応する予測された信頼度推定値150とを表示するステップS130と、
を含む。
介入装置形状データ110は、データベース、撮像システム、コンピュータ可読記憶媒体、クラウドなどを含む、様々なソースから受信され得る。データは、有線又は無線データ通信などの任意の形態のデータ通信を使用して受信されてもよく、インターネット、イーサネットを介して、又はUSBメモリ装置、光ディスク又は磁気ディスクなどの可搬型コンピュータ可読記憶媒体を用いてデータを転送することによって受信されてもよい。
介入装置形状データ110は、様々な撮像システムによって、又は代替的に位置決定システムによって生成されてもよい。データは、介入装置の二次元又は三次元形状を表してもよい。例えば、介入装置形状データ110は、介入装置120を含むX線画像の時間シーケンス、例えば、3D形状情報を提供する較正されたバイプレーンX線画像、又は介入装置120を含むコンピュータトモグラフィ画像の時間シーケンス、又は介入装置120を含む超音波画像の時間シーケンス、又は介入装置120を含む磁気共鳴画像の時間シーケンス、又は介入装置120に機械的に結合された複数の電磁追跡センサもしくはエミッタによって提供される位置の時間シーケンス、又は介入装置120に機械的に結合された複数の誘電センサによって提供される位置の時間シーケンス、又は介入装置120に機械的に結合された複数の超音波追跡センサもしくはエミッタによって提供される位置の時間シーケンスを含んでもよい。介入装置形状データ110は、これらのデータタイプのうちの1つ又は複数の組み合わせを含んでもよい。
介入装置形状データ110が、撮像システムによって生成されるとき、種々の既知のセグメンテーション技法は、上述の画像の時間シーケンスから介入装置の形状を抽出するのに使用されてもよい。例えば、Honnorat, N.、他による文献、"Robust guidewire segmentation through boosting, clustering and linear programming", 2010 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Rotterdam, 2010, pp. 924-927に開示されるようなセグメンテーション技法が、例えば使用されてもよい。介入装置の部分は、例えば、画像内の介入装置上の1つ又は複数の画素のグループを規定することによって、画像内で識別され得る。これらの部分は、介入装置の長さに沿って、任意に、又は一定の間隔で、規定され得る。その際、介入装置の各部分の位置は、各時間ステップt1..tnに提供されてもよい。
介入装置形状データ110が、電磁追跡センサ又はエミッタによって生成される場合、国際公開第2015/165736号パンフレットに開示されているような電磁追跡センサ又はエミッタが、各時間ステップt1..tnに、各センサ又はエミッタの位置を提供するために使用されてもよい。介入装置形状データ110が、光ファイバ形状センサによって生成される場合、文献WO2007/109778A1に開示されているような光ファイバ形状センサが、使用されてもよい。介入装置形状データ110が、誘電体センサによって生成される場合、文献US2019/254564A1に開示されているような誘電体センサが、使用されてもよい。介入装置形状データ110が、超音波追跡センサ又はエミッタによって生成される場合、文献WO2020/030557A1に開示されているような超音波追跡センサ又はエミッタが、使用されてもよい。
様々なニューラルネットワークアーキテクチャが、図3を参照して上述したニューラルネットワーク130を提供するために使用されてもよい。図4は、本開示のいくつかの態様による、介入装置の1つ又は複数の部分の未来の位置を予測するためのニューラルネットワーク130の一例を示す。図4に示されるニューラルネットワーク130は、LSTMアーキテクチャを有し、図4の左側に向かう長短期メモリ「LSTM」セルの第1の層と、プーリング層と、図4の右側に向かうLSTMセルの第2の層とを含む。
介入装置形状データ110は、図3を参照して上述した動作S120に従って、図4のLSTMセルの第1の層に入力される。介入装置形状データ110は、現在の時間ステップtnを含む、n個の時間ステップのそれぞれにおいて、介入装置上のi個の点の位置Pi(x,y、z)の形式で入力される。すなわち、介入装置形状データ110は、時間ステップt 1..t nに対して入力される。入力された位置Pi(x,y、z)は、介入装置の部分の3次元位置を表す。代替的に、入力された位置は、上述のように、介入装置の部分の2次元位置を表してもよい。位置は、入力された画像から、又は介入装置120に結合されたセンサ及び/又は受信器の位置から決定されてもよい。第1の層内の各LSTMセルは、介入装置上の異なる部分又は点に対する位置データを入力される。
図4のLSTMセルの第1の層におけるLSTMセルは、介入装置上のそれらのそれぞれの点の予測される未来の位置に関する隠れ状態を生成する。隠れ状態は、プーリング層によって介入装置上の隣接する点に対して共有され、未来の位置の予測を生成するLSTMセルの第2の層に入力される。
図4のプーリング層は、隣接するLSTMセル間の隠れ状態における情報の共有を可能にする。これは、予測される装置上の部分の動きに対する装置上の隣接部分の影響を捕捉する。これは、介入装置上の隣接部分についての位置情報、したがって介入装置形状の連続性を保存するので、予測の精度を改善する。近傍の範囲、すなわち、隣接部分の数、及び隣接部分の位置が介入装置の部分の未来の位置を予測するのに使用される範囲は、介入装置全体に対する直接の近隣部分の間の範囲であり得る。近傍の範囲は、装置の可撓性にも依存し得る。例えば、剛性の装置は、比較的大きい近傍を使用し得るのに対し、可撓性の装置は、比較的小さい近傍を使用し得る。図示されたプーリング層の代替案は、装置の連続性を破る、又は所定の値を超える介入装置の曲率を予測する、予測位置を除去することによって、ニューラルネットワークの出力に制約を適用することを含む。
図4のニューラルネットワーク130によって生成される出力データは、k個の未来の時間ステップ、すなわち時間ステップtn+1..tn+kのそれぞれにおける介入装置上のi個の点の予測された位置である。
図4の各LSTMセルの動作が、LSTMセルの一例を示す概略図である図5を参照して以下に説明される。図5を参照すると、LSTMセルは、ht-1、ct-1及びxtの3つの入力と、ht及びctの2つの出力とを含む。シグマ及びtanhラベルは、それぞれ、シグモイド及びtanh活性化関数を表し、「×」及び「+」記号は、それぞれ、点ごとの乗算及び点ごとの加算演算を表す。時間tにおいて、出力htは、隠れ状態を表し、出力ctは、セル状態を表し、入力xtは、現在のデータ入力を表す。図5の左から右へ移動すると、第1のシグモイド活性化関数は、忘却ゲートを提供する。その入力、すなわち、ht-1及びxtは、それぞれ、前のセルの隠れ状態を表し、現在のデータ入力は、連結され、シグモイド活性化関数を通される。シグモイド活性化関数の出力は、次に、前のセル状態c t-1と乗算される。忘却ゲートは、現在のセル状態ctに含まれる前のセルからの情報の量を制御する。その寄与は、「+」記号によって表される点ごとの加算を介して含まれる。図5 の右側に移動すると、入力ゲートは、セル状態c tの更新を制御する。前のセルの隠れ状態ht-1と、現在のデータ入力xtとは、連結され、シグモイド活性化関数を通され、さらにtanh活性化関数を通される。これらの関数の出力の点ごとの乗算は、「+」記号によって表される点ごとの加算を介してセル状態に加算される情報の量を決定する。点ごとの乗算の結果は、前のセル状態ct-1で乗算された忘却ゲートの出力に加算され、現在のセル状態ctを提供する。図5の右側に移動すると、出力ゲートは、次の隠れ状態h tが何であるべきかを決定する。隠れ状態は、以前の入力に関する情報を含み、予測のために使用される。次の隠れ状態、htを決定するために、前のセルの隠れ状態ht-1、及び現在のデータ入力xtが、連結され、シグモイド活性化関数を通される。新しいセル状態ctは、tanh活性化関数を通される。次に、tanh活性化関数及びシグモイドの活性化関数の出力は、乗算され、次の隠れ状態htにおける情報を決定する。
したがって、一例では、図3を参照して説明された方法で使用されるニューラルネットワーク130は、複数のLSTMセルを有するLSTMアーキテクチャを含み、各LSTMセルは、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の別の部分P1..Piの未来の位置140を予測するように構成された出力を有する。 各LSTMセルに対して、セルは、現在の時間ステップtnに対する入力された介入装置形状データ110と、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の隣接部分の予測された未来の位置とに基づいて、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の部分の未来の位置140を予測するように構成される。
図4に示されるニューラルネットワーク130は、介入装置形状トレーニングデータ及びグランドトゥルース位置データを使用して未来の位置140を予測するようにトレーニングされ得る。
図6は、本開示のいくつかの態様による、介入装置の1つ又は複数の部分の未来の位置を予測するためにニューラルネットワークをトレーニングする方法の一例を示す。介入装置形状トレーニングデータは、時間ステップのシーケンスにおける介入装置120の形状を表す。グランドトゥルース位置データは、シーケンスの各時間ステップにおける介入装置120の複数の部分の各々の位置を表す。介入装置形状トレーニングデータ及び/又はグランドトゥルース位置データは、動作S120において入力される入力された介入装置形状データ110に関して上述したように、画像データによって、又はセンサ及び/又はエミッタデータによって提供されてもよい。ニューラルネットワーク130は、
時間ステップのシーケンスにおける介入装置120の形状を表す介入装置形状トレーニングデータを受信することS210、
シーケンス内の複数の時間ステップの各々における介入装置120の複数の部分の各々の位置を表す介入装置グランドトゥルース位置データを受信することS220、並びに
シーケンス内の複数の時間ステップの各々について、かつ任意選択で1つ又は複数のより早い時間ステップについて、時間ステップに対する介入装置形状トレーニングデータを、ニューラルネットワークに入力することS230、及び1つ又は複数の後続の時間ステップにおける介入装置120の1つ又は複数の部分の予測された後続の位置と、受信された介入装置のグランドトゥルース位置データからの1つ又は複数の後続の時間ステップにおける介入装置120の1つ又は複数の対応する部分のグランドトゥルース位置との間の差を表す損失関数に基づいて、停止基準が満たされるまで、ニューラルネットワーク130のパラメータを調整することS240、
によって、介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来の位置140を予測するようにトレーニングされてもよい。
時間ステップのシーケンスにおける介入装置120の形状を表す介入装置形状トレーニングデータを受信することS210、
シーケンス内の複数の時間ステップの各々における介入装置120の複数の部分の各々の位置を表す介入装置グランドトゥルース位置データを受信することS220、並びに
シーケンス内の複数の時間ステップの各々について、かつ任意選択で1つ又は複数のより早い時間ステップについて、時間ステップに対する介入装置形状トレーニングデータを、ニューラルネットワークに入力することS230、及び1つ又は複数の後続の時間ステップにおける介入装置120の1つ又は複数の部分の予測された後続の位置と、受信された介入装置のグランドトゥルース位置データからの1つ又は複数の後続の時間ステップにおける介入装置120の1つ又は複数の対応する部分のグランドトゥルース位置との間の差を表す損失関数に基づいて、停止基準が満たされるまで、ニューラルネットワーク130のパラメータを調整することS240、
によって、介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来の位置140を予測するようにトレーニングされてもよい。
一例として、介入装置形状トレーニングデータは、CT画像データの画像フレームの時間が時間ステップのシーケンスを表すCT画像データによって提供されてもよい。この例では、対応する介入装置グラウンドトゥルース位置データが、介入装置120に機械的に結合された電磁追跡センサ又はエミッタによって提供され得る。グラウンドトゥルース位置データの生成は、介入装置グラウンドトゥルース位置データがシーケンス内の各時間ステップにおける介入装置120の位置を表すように、CT画像データ内の画像フレームのタイミングと同期されてもよい。
他のニューラルネットワークと同様に、図4に示されるニューラルネットワークのトレーニングは、そのパラメータ、すなわちその重み及びバイアスを調整することによって実行される。図4のニューラルネットワークの重みとバイアスは、LSTMセルによって提供される。図5に示されるLSTMセルを参照すると、図5の下位4つの活性化関数は、重み及びバイアスによって制御される。これらは、図5において、記号w及びbを用いて識別される。図示のLSTMセルでは、これらの4つの活性化関数の各々が、典型的には2つの重み値、すなわち、各xt入力に対して1つ、及び各ht-1入力の各々に対して1つと、1つのバイアス値bとを含む。したがって、図5に示される例示的なLSTMセルは、典型的には8つの重みパラメータと4つのバイアスパラメータとを含む。
図5に示されるLSTMセルの動作は、以下の式によって制御される。
ft=σ((whf×ht-1)+(wxf×xt)+bf) 式1
ut=σ((whu×ht-1)+(wxu×xt)+bu) 式2
c~t=tanh((whc×ht-1)+(wxc×xt)+bc) 式3
ot=σ((who×ht-1)+(wxo×xt)+bo) 式4
ct=[c~t+ut]+[ct-1+ft] 式5
yt=[ot×tanhct] 式6
ft=σ((whf×ht-1)+(wxf×xt)+bf) 式1
ut=σ((whu×ht-1)+(wxu×xt)+bu) 式2
c~t=tanh((whc×ht-1)+(wxc×xt)+bc) 式3
ot=σ((who×ht-1)+(wxo×xt)+bo) 式4
ct=[c~t+ut]+[ct-1+ft] 式5
yt=[ot×tanhct] 式6
したがって、図5に示されるLSTMセルを含むニューラルネットワーク、及び他のニューラルネットワークのトレーニングは、活性化関数の重み及びバイアスを調整することを伴う。教師あり学習は、入力データ及び対応する期待出力データを含むトレーニングデータセットをニューラルネットワークに提供することを含む。トレーニングデータセットは、トレーニング後に分析するためにニューラルネットワークが使用される可能性が高い入力データを表す。教師あり学習の間、、重み及びバイアスは、入力データを提示されると、ニューラルネットワークが対応する期待出力データを正確に提供するように自動的に調整される。
ニューラルネットワークをトレーニングすることは、典型的には、大きなトレーニングデータセットをニューラルネットワークに入力することと、トレーニングされたニューラルネットワークが正確な出力を提供するまで、ニューラルネットワークパラメータを反復的に調整することとを伴う。トレーニングは、通常、グラフィック処理ユニット「GPU」、又はニューラル処理ユニット「NPU」又はテンソル処理ユニット「TPU」などの専用ニューラルプロセッサを使用して実行される。したがって、トレーニングは、典型的には、クラウドベース又はメインフレームベースのニューラルプロセッサがニューラルネットワークをトレーニングするために使用される集中型アプローチを採用する。トレーニングデータセットを用いたトレーニングに続いて、トレーニングされたニューラルネットワークは、「推論」と称されるプロセスにおいて新しい入力データを分析するための装置に展開され得る。推定中の処理要件は、トレーニング中に必要とされるものよりも著しく低く、ニューラルネットワークがラップトップコンピュータ、タブレット、携帯電話などの様々なシステムに展開されることを可能にする。推定は、例えば、サーバ上、又はクラウド内で、中央処理ユニット「CPU」、GPU、NPU、TPUによって実行され得る。
上述したように、ニューラルネットワークをトレーニングするプロセスは、活性化関数の重み及びバイアスを調整することを含む。教師あり学習では、トレーニングプロセスは、入力データを提示されるときに、ニューラルネットワークが対応する期待出力データを正確に提供するように、重み及びバイアスを自動的に調整する。これを行うために、損失関数の値又は誤差は、予測出力データと期待出力データとの間の差に基づいて計算される。損失関数の値は、負の対数尤度損失、平均二乗誤差、又はフーバー損失、又は交差エントロピーなどの関数を使用して計算され得る。トレーニング中、損失関数の値は、典型的には最小化され、トレーニングは、損失関数の値が停止基準を満たすときに終了される。場合によっては、トレーニングは、損失関数の値が複数の基準のうちの1つ以上を満たすときに、終了される。
勾配降下法、準ニュートン法など、損失最小化問題を解決するための様々な方法が、既知である。様々なアルゴリズムが、確率的勾配降下法「SGD」、バッチ勾配降下法、ミニバッチ勾配降下法、ガウス・ニュートン法、レーベンバーグ・マルカート法、モーメンタム法、Adam、Nadam、Adagrad、Adadelta、RMSProp、及びAdamax「オプティマイザ」を含むが、これらに限定されない、これらの方法及びそれらの変形を実装するために、開発されてきた。これらのアルゴリズムは、連鎖法を使用して、モデルパラメータに対する損失関数の導関数を計算する。このプロセスは、導関数が最後の層又は出力層において開始して第1の層又は入力層に向かって移動して計算されるので、逆伝搬と称される。これらの導関数は、誤差関数を最小化するためにモデルパラメータがどのように調整されなければならないかをアルゴリズムに知らせる。すなわち、モデルパラメータに対する調整は、出力層から開始し、入力層が到達されるまでネットワーク内で後方に動作するように行われる。第1のトレーニング反復において、初期重み及びバイアスは、しばしばランダム化される。次いで、ニューラルネットワークは、同様にランダムである出力データを予測する。次いで、逆伝搬が、重み及びバイアスを調整するために使用される。トレーニングプロセスは、各反復において重み及びバイアスを調整することによって反復的に実行される。トレーニングは、誤差、又は予測出力データと期待出力データとの間の差がトレーニングデータ又はいくつかの検証データについて許容可能な範囲内にあるときに、終了される。その後、ニューラルネットワークは、展開され得、トレーニングされたニューラルネットワークは、そのパラメータのトレーニングされた値を使用して新しい入力データについて予測を行う。トレーニングプロセスが成功した場合、トレーニングされたニューラルネットワークは、新しい入力データから期待出力データを正確に予測する。
図4及び図5を参照して上述された例示的なLSTMニューラルネットワークは、例としてのみ機能し、他のニューラルネットワークも、同様に、上述された方法の機能を実装するために使用され得ることを理解されたい。LSTMニューラルネットワーク130に対する代替のニューラルネットワークは、また、トレーニング動作S130中に所望の予測を実行するためにトレーニングされ得、リカレントニューラルネットワーク、RNN、畳み込みニューラルネットワーク、CNN、時間畳み込みニューラルネットワーク、TCN、及びトランスフォーマを含むが、これらに限定されない。
いくつかの実装形態では、ニューラルネットワーク130のパラメータを調整する動作は、さらに制約される。1つの例示的な実施態様では、介入装置形状データ110は、介入装置120を含むデジタルサブトラクション血管造影、DSA、X線画像の時間的シーケンスを有し、ニューラルネットワーク130のパラメータの調整S240は、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来の位置140がDSA X線画像内に表される管腔内にフィットするように制約される。 そうすることで、介入装置の1つ又は複数の部分の未来の位置が、より高い精度で予測され得る。制約は、制約に基づいて第2の損失関数を計算し、この第2の損失関数を前述の損失関数と共に目的関数に組み込むことによって適用され得、目的関数の値は、次いで、トレーニング中に最小化される。
上述のニューラルネットワーク130は、また、1つ又は複数の未来の位置140の対応する信頼度推定値150を予測するようにトレーニングされる。信頼度推定値を予測するための様々な方法が、企図される。
一実施形態では、ニューラルネットワーク130は、ニューラルネットワーク130によって生成された1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測未来位置140と、受信された介入装置グランドトゥルース位置データからの1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の対応する部分のグランドトゥルース位置との間の差に基づいて、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測された未来位置140の対応する信頼推定値を予測するようにトレーニングされる。
別の実施形態では、ニューラルネットワーク130は、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来位置140に対するドロップアウト層内のニューロンの寄与をランダムに制御するように構成されたドロップアウト層を有し、その結果、1つ又は複数の未来時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来位置140に対する信頼推定が、同じ入力データで、トレーニングされたニューラルネットワーク130を繰り返し実行することによって生成される1つ又は複数の未来時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来位置140から得られる。 他の技法が、例えば、1つ又は複数の未来の時間ステップにおける介入装置の1つ又は複数の部分についての点推定ではなく分布を予測し、標準偏差を信頼度の尺度(より小さい標準偏差はより高い信頼度を暗示する、より大きい標準偏差はより低い信頼度を暗示する、など)として使用することによって、対応する信頼度推定150を予測するのに使用されてもよい。
図3に戻ると、動作S130において、介入装置120の各部分の予測された1つ又は複数の未来位置140と、予測された1つ又は複数の未来位置140の対応する予測信頼度推定値150とが、表示される。動作S130における使用のために様々な技法が、企図される。一例として、介入装置の現在の画像が、表示され得、介入装置の1つ又は複数の部分の予測される未来の位置、及び予測される未来の位置に関する対応する予測された信頼度推定値が、現在の画像内に表示され得る。
別の例として、図7は、本開示のいくつかの態様による、介入装置120の部分の予測された未来の位置140a、140b、140cと、予測された未来の位置に関する対応する予測された信頼度推定値150とを含む現在のX線画像160の例を示す。血管内腔180の輪郭は、図7に示され、DSA撮像技術を使用してX線画像160を生成することによって決定され得る。介入装置120の現在の位置は、介入装置120を表す実線曲線によって図7に示される。3つの信頼推定値>80%、>75%、及び<75%のそれぞれについて、介入装置の遠位端の部分の予測される未来の位置が、破線によって示される。
介入装置120の現在及び/又は未来の位置を表示するための、図7に示されるものに対する代替技術も、企図される。これらは、信頼度推定値を示すための異なる色又は陰影の使用、ヒートマップなどを含む。いくつかの例では、例えば、介入装置120の遠位端など、介入装置のたった1つの部分の位置が、予測される。
図3を参照して上述されたコンピュータ実装方法は、1つ又は複数の追加の動作を含んでもよい。
図3を参照して上述されたコンピュータ実装方法は、1つ又は複数の追加の動作を含んでもよい。
いくつかの介入処置では、介入装置120の特定の部分が所望の標的位置をインターセプトするかどうかを知ることが有益である。例えば、図7を参照すると、ガイドワイヤ120の遠位端が血管内腔の左側枝に首尾よく進入するか否かを知ることが望ましい。一例によれば、図3を参照して上述された方法は、
介入装置120の少なくとも1つの部分について、解剖学的構造内の標的位置を示す入力を受信するステップと、
介入装置120の少なくとも1つの部分の予測される未来の位置140に基づいて、介入装置120の少なくとも1つの部分が標的位置をインターセプトする確率を計算するステップと、
を含む。
介入装置120の少なくとも1つの部分について、解剖学的構造内の標的位置を示す入力を受信するステップと、
介入装置120の少なくとも1つの部分の予測される未来の位置140に基づいて、介入装置120の少なくとも1つの部分が標的位置をインターセプトする確率を計算するステップと、
を含む。
この機能は、ニューラルネットワーク130によって、又は予測された未来の位置140及び標的位置を後処理することによって提供され得る。解剖学的構造内の標的位置は、解剖学的構造内の任意の位置、例えば、左もしくは右の腎動脈、又は別の標的位置であり得る。標的位置は、ユーザによって提供されてもよく、又は自動的に決定されてもよい。例えば、標的位置がユーザによって提供される場合、ユーザは、マウス又はタッチスクリーンなどのポインタ装置によって、ディスプレイ上で標的位置を示し得る。代わりに、標的位置は、医療処置のタイプに関する情報から、及び解剖学的構造を通る期待される経路に基づいて、自動的に決定されてもよい。介入装置120の少なくとも1つの部分が標的位置をインターセプトする計算された確率は、例えば、数値として、破線として、又は解剖学的構造の画像上の色又は陰影などを用いて表示されてもよい。
別の例では、介入装置を操作する上述の課題のいくつかに対処するために、介入装置をうまくナビゲートして解剖学的構造内の標的位置をインターセプトするために使用されている履歴経路の範囲をユーザに示すことは、有益であり得る。そうすることで、ユーザは、介入装置の現在の位置が成功した履歴経路の位置とどのように比較するかを決定し、それによって、他の、すなわちエキスパートのユーザの経験から利益を得てもよい。この機能は、エキスパートユーザからのトレーニングデータを使用してニューラルネットワーク130をトレーニングすることによって提供され得る。この例によれば、ニューラルネットワーク130は、解剖学的構造内の標的位置をインターセプトするために介入装置120をうまくナビゲートするために使用される複数の履歴経路に沿った、入力された介入装置形状データ110の部分の位置の分布を表す潜在変数の1つ又は複数のベクトルを生成するように構成され、図3を参照して上述された方法は、
潜在変数の1つ又は複数のベクトルの1つ又は複数の分布パラメータを表す解剖学的構造内のトラック170を表示するステップ、
を含む。
潜在変数の1つ又は複数のベクトルの1つ又は複数の分布パラメータを表す解剖学的構造内のトラック170を表示するステップ、
を含む。
この例は、本発明のいくつかの態様による、入力された介入装置形状データ110を表す平均μ及び分散σ2を有する潜在変数のベクトルを生成するニューラルネットワーク130の一例を示す、図8を参照して説明される。図8に示されるニューラルネットワークは、変分エンコーダ-デコーダ・アーキテクチャを有するが、他のタイプの生成ニューラルネットワーク、例えば、生成敵対ネットワーク「GAN」も、この機能を実装するために使用され得る。例えば、ニューラルネットワークは、ある分布に従うことを保証する損失関数に、KL発散/相互情報コンポーネントを加えることによって、正規分布に従う潜在表現を生成するようにトレーニングされ得る。GANにおいて共通である、敵対的トレーニングは、画像変換のためのCycleGANのような、入出力データの低いレベルの表現のキャプチャに成功することが示されている。変分エンコーダ-デコーダネットワークを使用する利点は、このタイプのニューラルネットワークがトレーニングデータセットの潜在表現にわたる分布を学習することである。したがって、図8に示されるニューラルネットワーク130は、入力装置形状の潜在表現にわたる分布を表す平均μ及び分散σ2を学習し、分布からのサンプルが、これまで介入装置の形状を与えられた介入装置の未来の形状を表すようにする。
トラック170は、図8に示され、平均値μ及びこの平均の両側に分布する標準偏差値σを含み、解剖学的構造内の標的位置をインターセプトするように介入装置120をうまくナビゲートするのに使用される履歴経路の範囲を示す。図8に見られるように、管腔内のいくつかの位置において、特に管腔内の左側の枝に向かって、小さい分散が存在し、これは、ユーザがこの左側の枝に首尾よく向けるために、管腔内のこの位置における平均値に近い位置に介入装置を正確に配置する必要性を示す。比較によって、管腔内のより低い位置では、より大きな分散が観察され、これは、介入装置の配置があまり重要でないことを示す。
このようにトラック170を表示することは、過去のユーザによってとられた装置経路のバリエーションの形態でユーザに追加情報を提供する。エキスパートから得られた装置ナビゲーションデータ、すなわち、解剖学的構造内の標的位置をインターセプトするように介入装置をうまくナビゲートするのに使用される複数の履歴経路上で、変分エンコーダ-デコーダネットワークをトレーニングすることによって、図8に示されるニューラルネットワークのエンコーダ部分は、エキスパート装置ナビゲーションを表す入力データからの後の分布を近似し、デコーダネットワークは、この分布からサンプルを生成する。これは、より少ない経験のユーザがより小さい又はより大きい変化を有する軌道のセグメント、及びエキスパートナビゲーションにおける変化のタイプを含む、エキスパートのみの装置軌道の分布から生成されたサンプルを観察することを可能にする。
図8に示されるニューラルネットワークでは、1つ又は複数の分布パラメータは、平均μと標準偏差σの両方を含む。他の統計的分布パラメータが、同様の方法で計算され、トラック170に表示され得ることに留意されたい。さらに、潜在変数の2つのベクトルが示され、1つは平均値に対するものであり、1つは分散値に対するものである。いくつかの例では、たった1つのベクトルが、計算され得る。
図8に示されるニューラルネットワーク130は、
解剖学的構造内の標的位置をインターセプトするために介入装置120をうまくナビゲートするように複数の履歴処置に対する時間ステップのシーケンスにおける介入装置120の形状を表す介入装置形状トレーニングデータを受信すること、
シーケンス内の各時間ステップにおける介入装置120の複数の部分の各々の位置を表す介入装置グラウンドトゥルース位置データを受信すること、及び
履歴処置に対するシーケンス内の複数の時間ステップの各々に対して、
かつ任意選択で1つ又は複数のより早い時間ステップに対して、時間ステップに対する受信された介入装置形状トレーニングデータをニューラルネットワーク130に入力すること、
入力された介入装置形状データ110の部分の位置の分布を表す潜在変数の1つ又は複数のベクトルを学習するようにニューラルネットワーク130をトレーニングすること、
1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来の位置140を提供するように、潜在変数の1つ又は複数のベクトルによって表される介入装置120の部分の位置の分布内からサンプリングすること、
i)潜在変数の1つ又は複数のベクトルによって表される分布におけるサンプルの確率と、標準分布におけるサンプルの確率との間の差を表す第1の損失関数、及び
ii)1つ又は複数の後続の時間ステップにおける介入装置120の1つ又は複数の部分の予測された後続の位置140と、停止基準が満たされるまでの、受信された介入装置グラウンドトゥルース位置データからの1つ又は複数の後続の時間ステップにおける介入装置120の1つ又は複数の対応する部分のグラウンドトゥルース位置との間の差を表す第2の損失関数、
に基づいてニューラルネットワーク130のパラメータを調整すること、並びに
複数の履歴処置の各々について、入力、トレーニング、サンプリング、及び調整を繰り返すことと、
によって、介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来の位置140を予測するようにトレーニングされ得る。
解剖学的構造内の標的位置をインターセプトするために介入装置120をうまくナビゲートするように複数の履歴処置に対する時間ステップのシーケンスにおける介入装置120の形状を表す介入装置形状トレーニングデータを受信すること、
シーケンス内の各時間ステップにおける介入装置120の複数の部分の各々の位置を表す介入装置グラウンドトゥルース位置データを受信すること、及び
履歴処置に対するシーケンス内の複数の時間ステップの各々に対して、
かつ任意選択で1つ又は複数のより早い時間ステップに対して、時間ステップに対する受信された介入装置形状トレーニングデータをニューラルネットワーク130に入力すること、
入力された介入装置形状データ110の部分の位置の分布を表す潜在変数の1つ又は複数のベクトルを学習するようにニューラルネットワーク130をトレーニングすること、
1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来の位置140を提供するように、潜在変数の1つ又は複数のベクトルによって表される介入装置120の部分の位置の分布内からサンプリングすること、
i)潜在変数の1つ又は複数のベクトルによって表される分布におけるサンプルの確率と、標準分布におけるサンプルの確率との間の差を表す第1の損失関数、及び
ii)1つ又は複数の後続の時間ステップにおける介入装置120の1つ又は複数の部分の予測された後続の位置140と、停止基準が満たされるまでの、受信された介入装置グラウンドトゥルース位置データからの1つ又は複数の後続の時間ステップにおける介入装置120の1つ又は複数の対応する部分のグラウンドトゥルース位置との間の差を表す第2の損失関数、
に基づいてニューラルネットワーク130のパラメータを調整すること、並びに
複数の履歴処置の各々について、入力、トレーニング、サンプリング、及び調整を繰り返すことと、
によって、介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の未来の位置140を予測するようにトレーニングされ得る。
一例として、第1の損失関数は、Kullback-Leibler「KL」発散を使用して計算され得る。使用される標準分布は、例えば、ゼロに等しい平均及び1に等しい分散を有するガウス分布又は正規分布であってもよい。
図8を参照して説明されたニューラルネットワークは、また、介入装置の1つ又は複数の部分の予測される未来の位置とトラック170との間の差を低減するために必要とされる、介入装置120の1つ又は複数の必要な操作を計算するために適合され得る。この例は、本開示のいくつかの態様に従って、介入装置の1つ又は複数の部分の予測される未来位置と、潜在的変数の平均値のトラック170との間の差を低減するために必要とされる、介入装置の1つ又は複数の必要な操作を予測するようにトレーニングされる、ニューラルネットワーク130の例を示す図9を参照して説明される。図9を参照して、この例では、図8を参照して説明される方法は、また、
現在の時間ステップtnに対する介入装置120の形状を表す、受信された介入装置形状データ110に基づいて、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来の位置140と、解剖学的構造内のトラック170との間の差を低減するために必要とされる、介入装置120の1つ又は複数の必要とされる操作と、介入装置120の予測される1つ又は複数の必要とされる操作とを計算すること、及び
介入装置120の予測される1つ又は複数の必要とされる操作を表示すること、
を含む。
現在の時間ステップtnに対する介入装置120の形状を表す、受信された介入装置形状データ110に基づいて、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来の位置140と、解剖学的構造内のトラック170との間の差を低減するために必要とされる、介入装置120の1つ又は複数の必要とされる操作と、介入装置120の予測される1つ又は複数の必要とされる操作とを計算すること、及び
介入装置120の予測される1つ又は複数の必要とされる操作を表示すること、
を含む。
図9に示されるように、ニューラルネットワーク130は、この機能を実装するために、畳み込みニューラルネットワーク「CNN」アーキテクチャを含み得る。CNNの代替アーキテクチャは、RNN、TCN、トランスフォーマなどを含む。この機能性は、ユーザが解剖学的構造内で介入装置をナビゲートするためのより最適な操作を提供するようにトレーニングされることを可能にする。図10A及び10Bは、本開示のいくつかの態様による、図9に示されるトレーニングされたニューラルネットワークを使用して、介入装置の予測される1つ又は複数の必要な操作を表示する例を示す。予測された1つ又は複数の必要な操作を表示するための代替技術は、例えば、方向矢印などのアイコンの表示を含む。
図9に示されるニューラルネットワークは、
標的位置をインターセプトするように介入装置120をナビゲートするように複数の成功した履歴処置に対する時間ステップのシーケンスにおける介入装置120の形状を表す介入装置形状トレーニングデータを受信すること、
シーケンス内の各時間ステップについて、介入装置120の操作を表す介入装置グランドトゥルース操作データを受信し、シーケンス内の複数の時間ステップの各々について、時間ステップに対する受信された介入装置形状トレーニングデータをニューラルネットワーク130に入力し、停止基準が満たされるまで、予測される1つ又は複数の必要な操作とグランドトゥルース操作データとの間の差を表す第3の損失関数に基づいて、ニューラルネットワーク130のパラメータを調整すること、
によって、介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来の位置140と、解剖学的構造内のトラックとの間の差を低減するために必要とされる、介入装置120の1つ又は複数の必要な操作を予測するようにトレーニングされ得る。
標的位置をインターセプトするように介入装置120をナビゲートするように複数の成功した履歴処置に対する時間ステップのシーケンスにおける介入装置120の形状を表す介入装置形状トレーニングデータを受信すること、
シーケンス内の各時間ステップについて、介入装置120の操作を表す介入装置グランドトゥルース操作データを受信し、シーケンス内の複数の時間ステップの各々について、時間ステップに対する受信された介入装置形状トレーニングデータをニューラルネットワーク130に入力し、停止基準が満たされるまで、予測される1つ又は複数の必要な操作とグランドトゥルース操作データとの間の差を表す第3の損失関数に基づいて、ニューラルネットワーク130のパラメータを調整すること、
によって、介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来の位置140と、解剖学的構造内のトラックとの間の差を低減するために必要とされる、介入装置120の1つ又は複数の必要な操作を予測するようにトレーニングされ得る。
介入装置グランドトゥルース操作データは、例えば、
介入装置120を操作するように構成されたロボット制御ユニット、及び
介入装置120のユーザ操作を表す画像データを生成するように構成されたカメラ、
のうちの1つ以上によって提供されてもよい。
介入装置120を操作するように構成されたロボット制御ユニット、及び
介入装置120のユーザ操作を表す画像データを生成するように構成されたカメラ、
のうちの1つ以上によって提供されてもよい。
別の例によれば、図8に示されるニューラルネットワークは、エキスパートトレーニングデータを使用してトレーニングされる。図11は、本開示のいくつかの態様による、非エキスパートユーザのための入力された介入装置形状データから、エキスパートユーザのための介入装置形状トレーニングデータに最も近くマッチする介入装置の1つ又は複数の部分の予測される未来の位置を決定するように構成されたニューラルネットワーク130の例を示す。この例では、介入装置形状トレーニングデータは、エキスパートユーザトレーニングデータを含み、ニューラルネットワーク130は、非エキスパートユーザに対する入力された介入装置形状データ110から、1つ又は複数の未来の時間ステップtn+1..n+kにおいて、エキスパートユーザに対する介入装置形状トレーニングデータに最も近くマッチする解剖学的構造内の標的位置をインターセプトするように介入装置120をうまくナビゲートするように、1つ又は複数の未来の時間ステップtn+1..n+kにおける介入装置120の1つ又は複数の部分の予測される未来位置140を決定するように構成される。
この例では、ニューラルネットワークは、エキスパートデータ上でトレーニングされたので、ネットワークによって学習された装置軌道の潜在表現によってキャプチャされた入力データにわたる近似分布は、エキスパート装置軌道を表す。したがって、ニューラルネットワーク130は、非エキスパート装置軌道を再構成することができず、学習された分布の外れ値となる。代わりに、それは、学習された分布によって表されることができる最も近いエキスパート軌道を出力する。これは、非エキスパートユーザがエキスパートからの追加の時間コミットメントなしに、エキスパートを模倣することを継続的に学習することを可能にする。
図11に示されるような変分エンコーダ-デコーダネットワークを使用することの追加の利点は、エキスパート装置軌道の潜在空間にわたる学習された分布が正規分布に従い、そこからサンプリングされることができることである。従来の計画ツールは、典型的には、1つの特定の計画又は装置軌道のみを示すが、本明細書で説明される変分エンコーダ-デコーダネットワークは、最も可能性の高い軌道又は最も近いエキスパート軌道を示すことができるだけでなく、例えば、既知の標的につながる他の同様の軌道をユーザがサンプリングすることをも可能にする。
図12は、本開示のいくつかの態様による、図11に示されるトレーニングされたニューラルネットワークを用いた推論の実行の例を示す。図12の学習された潜在表現zは、多数のベクトル成分z={z 1,z 2,..z j}を含む。zの各成分は、トレーニングデータ、本例ではエキスパート装置軌道における変化の何らかのモードを制御する。例えば、zの1つの成分は、処置中のガイドワイヤの転移点における曲率の変化を制御してもよく、zの別の成分は、カニューレ挿入部分におけるツール先端の位置を制御してもよい。ユーザが装置軌道のいくつかの以前に識別された態様を制御する、学習された潜在表現zの1つ又は複数の成分を変化させることを可能にすることは、ユーザが複数のエキスパート装置軌道を観察し、ユーザの個人的好み、スタイル、快適さなどに最も適したオプションを選択することを可能にする。再び、これは、ユーザが非エキスパートからエキスパートへの移行を加速させることを可能にする一方で、ユーザがスタイル又はアプローチを個人化することを可能にする。この例によれば、図8を参照して説明されるニューラルネットワークは、ユーザが入力された介入装置形状データ110の部分の位置の分布を表す潜在変数のベクトルの1つ又は複数の成分を操作することを可能にし、それによって、ユーザが現在の時間ステップtnにおける介入装置の形状から取得され得る介入装置の代替の未来の形状を調査することを可能にする、ユーザインターフェースを含み得る。
図13は、本開示のいくつかの態様による、介入装置の部分の位置を予測するためのシステム200を示す概略図である。システム200は、ナビゲーションガイダンスを提供するコンピュータ実装方法に関連して上述した動作のうちの1つ又は複数を実行するように構成された1つ又は複数のプロセッサ210を含む。システム200は、また、介入装置120、図13に示されるX線撮像システム220などの撮像システム、又は別の撮像システムを含み得る。使用時には、X線撮像システム220が、動作S120において、ニューラルネットワーク130に入力するための介入装置形状データ110を生成してもよい。システム200は、また、図13に示されるような1つ又は複数の表示装置230、及び/又はキーボードなどのユーザインターフェース装置、及び/又は方法の実行を制御するためのマウスなどのポインティング装置、及び/又は患者ベッド240を含んでもよい。
上記の例は、本開示を示するものであり、限定するものではないと理解されるべきである。更なる例も、企図される。例えば、コンピュータ実装方法に関連して説明された例は、対応する形で、コンピュータプログラム製品によって、又はコンピュータ可読記憶媒体によって、又はシステム200によっても提供されてもよい。任意の1つの例に関して記載された特徴は、単独で、又は他の記載された特徴と組み合わせて使用されてもよく、例のうちの別の1つ又は複数の特徴、又は他の例の組み合わせと組み合わせて使用されてもよいことを理解されたい。更に、上で説明されていない均等物及び修正物も、添付の特許請求の範囲で規定される本発明の範囲から逸脱することなく使用され得る。請求項において、単語「有する」は、他の要素又は動作を排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。特定の特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、それらの範囲を限定するものとして解釈されるべきではない。
Claims (15)
- 解剖学的構造内で介入装置をナビゲートするためのナビゲーションガイダンスを提供するコンピュータ実装方法であって、
1つ又は複数の時間ステップにおける前記介入装置の形状を表す介入装置形状データを受信するステップであって、前記時間ステップは、少なくとも現在の時間ステップを含む、ステップと、
前記介入装置形状データから、1つ又は複数の未来の時間ステップにおける前記介入装置の1つ又は複数の部分の未来位置を予測し、前記予測された1つ又は複数の未来位置に対する対応する信頼度推定値を予測するようにトレーニングされたニューラルネットワークに、前記介入装置形状データを入力するステップと、
前記介入装置の各部分の前記予測された1つ又は複数の未来位置、及び前記予測された1つ又は複数の未来位置に対する前記対応する予測された信頼度推定値を表示するステップと、
を有するコンピュータ実装方法。 - 前記方法は、
前記介入装置の少なくとも1つの部分について、前記解剖学的構造内の標的位置を示す入力を受信するステップと、
前記介入装置の前記少なくとも1つの部分の前記予測される未来位置に基づいて、前記介入装置の前記少なくとも1つの部分が前記標的位置をインターセプトする確率を計算するステップと、
を有する、請求項1に記載のコンピュータ実装方法。 - 前記ニューラルネットワークは、前記解剖学的構造内の標的位置をインターセプトするように前記介入装置をうまくナビゲートするのに使用される複数の履歴経路に沿った前記入力された介入装置形状データの部分の位置の分布を表す潜在変数の1つ又は複数のベクトルを生成するように構成され、 前記方法は、
前記潜在変数の1つ又は複数のベクトルの1つ又は複数の分布パラメータを表す前記解剖学的構造内のトラックを表示するステップ、
を有する、請求項1に記載のコンピュータ実装方法。 - 前記方法が、
前記現在の時間ステップに対する前記介入装置の形状を表す前記受信された介入装置形状データに基づいて、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の予測された未来位置と、前記解剖学的構造内の前記トラックとの間の差を低減するために必要とされる前記介入装置の1つ又は複数の必要とされる操作を計算するステップと、
前記介入装置の前記予測された1つ又は複数の必要とされる操作を表示するステップと、
を有する、請求項3に記載のコンピュータ実装方法。 - 前記ニューラルネットワークは、
時間ステップのシーケンスにおける前記介入装置の形状を表す介入装置形状トレーニングデータを受信すること、
前記シーケンス内の各時間ステップにおける前記介入装置の複数の部分の各々の位置を表す介入装置グラウンドトゥルース位置データを受信すること、
前記シーケンス内の複数の時間ステップの各々について、かつ任意選択で1つ又は複数のより速い時間ステップについて、前記時間ステップに対する前記受信された介入装置形状トレーニングデータを、前記ニューラルネットワークに入力し、停止基準が満たされるまで、前記受信された介入装置グラウンドトゥルース位置データからの前記1つ又は複数の後の時間ステップにおける前記介入装置の前記1つ又は複数の対応する部分の前記グラウンドトゥルース位置との差を表す損失関数に基づいて、前記ニューラルネットワークのパラメータを調整すること、
によって、前記介入装置形状データから、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記未来位置を予測するようにトレーニングされる、請求項1又は請求項2に記載のコンピュータ実装方法。 - i)前記ニューラルネットワークは、前記ニューラルネットワークによって生成された前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記予測された未来位置と、前記受信された介入装置グラウンドトゥルース位置データからの前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の対応する部分の前記グラウンドトゥルース位置との間の差に基づいて、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記予測された未来位置に対する前記対応する信頼度推定値を予測するようにトレーニングされる、 又は
ii)前記ニューラルネットワークは、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記予測された未来位置に対するドロップアウト層内のニューロンの寄与をランダムに制御するように構成されたドロップアウト層を有し、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記予測された未来位置に対する信頼度推定値が、同じ入力データを用いて前記トレーニングされたニューラルネットワークを繰り返し実行することによって生成された前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記予測された未来位置から取得可能である、
請求項5に記載のコンピュータ実装方法。 - 前記介入装置形状データは、前記介入装置を含むデジタルサブトラクション血管造影DSA X線画像の時間的シーケンスを含み、前記方法は、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記予測される未来位置が前記DSA X線画像内に表される管腔内にフィットするように、前記ニューラルネットワークのパラメータの前記調整を制約することを含む、請求項5に記載のコンピュータ実装方法。
- 前記ニューラルネットワークは、
解剖学的構造内の標的位置をインターセプトするように介入装置をうまくナビゲートするために、複数の履歴処置に対する時間ステップのシーケンスにおける前記介入装置の形状を表す介入装置形状トレーニングデータを受信すること、
前記シーケンス内の各時間ステップにおける前記介入装置の複数の部分の各々の位置を表す介入装置グランドトゥルース位置データを受信すること、
履歴処置に対する前記シーケンス内の複数の時間ステップの各々について、
かつ任意選択で1つ又は複数のより早い時間ステップについて、前記時間ステップに対する前記受信された介入装置形状トレーニングデータを前記ニューラルネットワークに入力すること、
前記入力された介入装置形状データの部分の位置の分布を表す潜在変数の前記1つ又は複数のベクトルを学習するために前記ニューラルネットワークをトレーニングすること、
前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の未来位置を提供するように、前記潜在変数の1つ又は複数のベクトルによって表される前記介入装置の前記部分の位置の分布内からサンプリングすること、
i)前記潜在変数の1つ又は複数のベクトルによって表される前記分布におけるサンプルの確率と、標準分布におけるサンプルの確率との間の差を表す第1の損失関数、及び
ii)前記1つ又は複数の後の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記予測された後続の位置と、前記受信された介入装置グラウンドトゥルース位置データからの前記1つ又は複数の後の時間ステップにおける前記介入装置の前記1つ又は複数の対応する部分の前記グラウンドトゥルース位置との間の差を表す第2の損失関数、
に基づいて、停止基準が満たされるまで、前記ニューラルネットワークのパラメータを調整すること、
前記複数の履歴処置の各々について前記入力、前記トレーニング、前記サンプリング、及び前記調整を繰り返すこと、
によって、前記介入装置形状データから、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記未来位置を予測するようにトレーニングされる、請求項3に記載のコンピュータ実装方法。 - 前記介入装置形状トレーニングデータは、エキスパートユーザトレーニングデータを含み、前記ニューラルネットワークは、非エキスパートユーザに対する前記入力された介入装置形状データから、前記1つ又は複数の未来の時間ステップにおけるエキスパートユーザに対する前記介入装置形状トレーニングデータに最も近くマッチする前記解剖学的構造内の前記標的位置をインターセプトするように前記介入装置をうまくナビゲートするように、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の前記予測される未来の位置を決定するように構成される、請求項8に記載のコンピュータ実装方法。
- 前記ニューラルネットワークは、ユーザが前記現在の時間ステップにおける前記介入装置の前記形状から得られることができる前記介入装置の代替的な未来の形状を調査することを可能にするために、ユーザが前記潜在変数の1つ又は複数のベクトルの1つ又は複数の成分を操作することを可能にするように構成されたユーザインターフェースを有する、請求項3に記載のコンピュータ実装方法。
- 前記ニューラルネットワークは、
前記標的位置をインターセプトするように前記介入装置をナビゲートするために複数の成功した履歴処置に対する時間ステップのシーケンスにおける前記介入装置の形状を表す介入装置形状トレーニングデータを受信すること、
前記介入装置の操作を表す介入装置グランドトゥルース操作データを受信すること、
前記シーケンス内の複数の時間ステップの各々について、前記時間ステップに対する前記受信された介入装置形状トレーニングデータを、前記ニューラルネットワークに入力し、停止基準が満たされるまで、前記予測された1つ又は複数の必要な操作と前記グランドトゥルース操作データとの間の差を表す第3の損失関数に基づいて、前記ニューラルネットワークのパラメータを調整すること、
によって、前記介入装置形状データから、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記1つ又は複数の部分の予測される未来位置と前記解剖学的構造内の前記トラックとの間の差を低減するために必要とされる前記介入装置の前記1つ又は複数の必要な操作を予測するようにトレーニングされる、請求項4に記載のコンピュータ実装方法。 - 前記介入装置形状データ、又は前記介入装置形状トレーニングデータ、又は前記介入装置グラウンドトゥルース位置データが、
前記介入装置を含むX線画像の時間的シーケンス、又は
前記介入装置を含むコンピュータトモグラフィ画像の時間的シーケンス、又は
前記介入装置を含む超音波画像の時間的シーケンス、又は
前記介入装置を含む磁気共鳴画像の時間的シーケンス、又は
前記介入装置に機械的に結合された複数の電磁追跡センサ又はエミッタによって提供される位置の時間的シーケンス、又は
前記介入装置に機械的に結合された複数の光ファイバ形状センサによって提供される位置の時間的シーケンス、又は
前記介入装置に機械的に結合された複数の誘電体センサによって提供される位置の時間的シーケンス、又は
前記介入装置に機械的に結合された複数の超音波追跡センサ又はエミッタによって提供される位置の時間的シーケンス、
を含む、請求項1乃至11のいずれか一項に記載のコンピュータ実装方法。 - 前記ニューラルネットワークは、
畳み込みニューラルネットワークアーキテクチャ、
長短期記憶LSTMニューラルネットワークアーキテクチャ、
変分エンコーダデコーダニューラルネットワークアーキテクチャ、
生成的敵対的GANニューラルネットワークアーキテクチャ、
トランスフォーマアーキテクチャ、
の少なくとも1つを有する、請求項1乃至12のいずれか一項に記載のコンピュータ実装方法。 - 前記ニューラルネットワークは、複数のLSTMセルを有するLSTMニューラルネットワークアーキテクチャを有し、各LSTMセルは、前記1つ又は複数の未来の時間ステップにおける前記介入装置の異なる部分の前記未来位置を予測するように構成された出力を有し、
各LSTMセルについて、前記セルは、前記現在の時間ステップに対する前記入力された介入装置形状データ、及び前記1つ又は複数の未来の時間ステップにおける前記介入装置の1つ又は複数の隣接する部分の前記予測された未来の位置に基づいて、前記1つ又は複数の未来の時間ステップにおける前記介入装置の前記部分の前記未来位置を予測するように構成される、請求項13に記載のコンピュータ実装方法。 - 1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに、請求項1乃至14のいずれか一項に記載の方法を実行させる命令を有するコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163173517P | 2021-04-12 | 2021-04-12 | |
US63/173,517 | 2021-04-12 | ||
PCT/EP2022/059099 WO2022218773A1 (en) | 2021-04-12 | 2022-04-06 | Navigating an interventional device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024515068A true JP2024515068A (ja) | 2024-04-04 |
Family
ID=81580177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023562168A Pending JP2024515068A (ja) | 2021-04-12 | 2022-04-06 | 介入装置のナビゲート |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4322879A1 (ja) |
JP (1) | JP2024515068A (ja) |
CN (1) | CN117279588A (ja) |
WO (1) | WO2022218773A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5631585B2 (ja) | 2006-03-22 | 2014-11-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ.ヴィ. | 光ファイバ機器センシングシステム |
WO2015128761A2 (en) * | 2014-02-28 | 2015-09-03 | Koninklijke Philips N.V. | Adaptive instrument kinematic model optimization for optical shape sensed instruments |
RU2016145933A (ru) | 2014-04-29 | 2018-05-29 | Конинклейке Филипс Н.В. | Устройство для определения конкретного положения катетера |
US10278616B2 (en) | 2015-05-12 | 2019-05-07 | Navix International Limited | Systems and methods for tracking an intrabody catheter |
WO2020030557A1 (en) | 2018-08-08 | 2020-02-13 | Koninklijke Philips N.V. | Tracking an interventional device respective an ultrasound image plane |
CN113490464A (zh) * | 2019-02-28 | 2021-10-08 | 皇家飞利浦有限公司 | 对末端执行器的前馈连续定位控制 |
US11087464B2 (en) * | 2019-06-27 | 2021-08-10 | Wisconsin Alumni Research Foundation | System and method for motion-adjusted device guidance using vascular roadmaps |
EP4252199A1 (en) * | 2020-11-24 | 2023-10-04 | Koninklijke Philips N.V. | Determining interventional device position |
-
2022
- 2022-04-06 WO PCT/EP2022/059099 patent/WO2022218773A1/en active Application Filing
- 2022-04-06 CN CN202280034449.2A patent/CN117279588A/zh active Pending
- 2022-04-06 EP EP22721031.7A patent/EP4322879A1/en active Pending
- 2022-04-06 JP JP2023562168A patent/JP2024515068A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022218773A1 (en) | 2022-10-20 |
EP4322879A1 (en) | 2024-02-21 |
CN117279588A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4138715A1 (en) | Algorithm-based methods for predicting and/or detecting a clinical condition related to insertion of a medical instrument toward an internal target | |
Karstensen et al. | Autonomous guidewire navigation in a two dimensional vascular phantom | |
EP4366613A1 (en) | System and device control using shape clustering | |
US20240112788A1 (en) | Assessing operator behavior during a medical procedure | |
JP2021516108A (ja) | 機械学習ベースの血管イメージングにおける決定フォーカスの分解及びステアリング | |
US20240020877A1 (en) | Determining interventional device position | |
EP4248404B1 (en) | Determining interventional device shape | |
EP4186455A1 (en) | Risk management for robotic catheter navigation systems | |
JP2024515068A (ja) | 介入装置のナビゲート | |
US20220202501A1 (en) | Real-time correction of regional tissue deformation during endoscopy procedure | |
EP4154810A1 (en) | System and device control using shape clustering | |
EP4173585A1 (en) | Method for identifying a vascular access site | |
US20230178248A1 (en) | Thrombus treatment metric | |
EP4181058A1 (en) | Time-resolved angiography | |
WO2024126112A1 (en) | Flexible device length estimation from moving fluoroscopy images | |
EP4353176A1 (en) | Providing biomechanical plaque data for an interventional device simulation system | |
EP4252666A1 (en) | Determining a value of a physical property of a thrombus | |
WO2023072973A1 (en) | Identifying a vascular access site | |
WO2024110335A1 (en) | Providing projection images | |
WO2023104559A1 (en) | Thrombus treatment metric | |
KR20240003038A (ko) | 가이드와이어 팁의 형상 결정 방법 및 장치 | |
WO2023186610A1 (en) | Intravascular procedure step prediction | |
KR20240022024A (ko) | 가이드와이어 팁의 형상 결정 방법 및 장치 | |
WO2023083700A1 (en) | Time-resolved angiography | |
WO2023083652A1 (en) | Control of robotic endovascular devices to align to target vessels with fluoroscopic feedback |