JP2023552577A - ナビゲーション気管支鏡検査のための動的変形追跡 - Google Patents
ナビゲーション気管支鏡検査のための動的変形追跡 Download PDFInfo
- Publication number
- JP2023552577A JP2023552577A JP2023534975A JP2023534975A JP2023552577A JP 2023552577 A JP2023552577 A JP 2023552577A JP 2023534975 A JP2023534975 A JP 2023534975A JP 2023534975 A JP2023534975 A JP 2023534975A JP 2023552577 A JP2023552577 A JP 2023552577A
- Authority
- JP
- Japan
- Prior art keywords
- lung
- airway
- model
- shape
- interventional device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013276 bronchoscopy Methods 0.000 title description 12
- 210000004072 lung Anatomy 0.000 claims abstract description 304
- 238000000034 method Methods 0.000 claims abstract description 190
- 230000000241 respiratory effect Effects 0.000 claims abstract description 94
- 238000005259 measurement Methods 0.000 claims abstract description 80
- 230000033001 locomotion Effects 0.000 claims abstract description 44
- 238000012986 modification Methods 0.000 claims abstract description 35
- 230000004048 modification Effects 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 62
- 239000000523 sample Substances 0.000 claims description 44
- 210000003484 anatomy Anatomy 0.000 claims description 40
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 22
- 230000037361 pathway Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000005055 memory storage Effects 0.000 claims description 5
- 238000005452 bending Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 8
- 230000002685 pulmonary effect Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 51
- 238000004422 calculation algorithm Methods 0.000 description 35
- 239000013598 vector Substances 0.000 description 35
- 238000005457 optimization Methods 0.000 description 34
- 230000000875 corresponding effect Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 18
- 238000002595 magnetic resonance imaging Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 15
- 238000013213 extrapolation Methods 0.000 description 12
- 230000004807 localization Effects 0.000 description 12
- 238000000844 transformation Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 230000003068 static effect Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 210000003437 trachea Anatomy 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 210000000038 chest Anatomy 0.000 description 6
- 238000013016 damping Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000002594 fluoroscopy Methods 0.000 description 3
- 238000013152 interventional procedure Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 210000004224 pleura Anatomy 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101000606504 Drosophila melanogaster Tyrosine-protein kinase-like otk Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008867 communication pathway Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- -1 steps Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00681—Aspects not otherwise provided for
- A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00681—Aspects not otherwise provided for
- A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
- A61B2017/00699—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00743—Type of operation; Specification of treatment sites
- A61B2017/00809—Lung operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Robotics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Architecture (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
肺の気道内のカテーテルの動きを追跡するためのシステム及び方法。肺の変形可能モデルは、分岐点で接合された気道セグメントとして肺の気道を表す。肺モデルの変形は、気道セグメントの互いに対する角度及び/または位置の修正を使用する。初期モデルは、例えばCT画像のセグメンテーションに基づいて生成され得る。処置の開始時における初期モデルの患者の肺形状へのベースライン変形可能位置合わせは、複数の異なる経路に沿ったカテーテルの位置測定値から確立され得る。任意選択で、ベースライン位置合わせは呼吸相に従って動的である。ベースライン位置合わせと比較して、肺形状のリアルタイムの変化は、好ましくはカテーテル本体に沿って分散される位置センサを使用して、カテーテルが標的にナビゲートするにつれ、カテーテルを使用して取得されるさらなる測定値を使用することによってモデル化され得る。【選択図】図4
Description
関連出願
本出願は、2020年12月10日に出願され、「DEFORMABLE REGISTRATION AND DYNAMIC DEFORMATION TRACKING AND VIEWS FOR NAVIGATIONAL BRONCHOSCOPY」と題する米国仮特許出願第63/123,590号、及び2021年8月29日に出願され、「DEFORMATION TRACKING」と題する米国仮特許出願第63/238,165号の米国特許法第119条(e)に基づく優先権の利益を主張し、そのそれぞれの内容は、参照によりその全体が本明細書に組み込まれる。
本出願は、2020年12月10日に出願され、「DEFORMABLE REGISTRATION AND DYNAMIC DEFORMATION TRACKING AND VIEWS FOR NAVIGATIONAL BRONCHOSCOPY」と題する米国仮特許出願第63/123,590号、及び2021年8月29日に出願され、「DEFORMATION TRACKING」と題する米国仮特許出願第63/238,165号の米国特許法第119条(e)に基づく優先権の利益を主張し、そのそれぞれの内容は、参照によりその全体が本明細書に組み込まれる。
本発明は、いくつかの実施形態においては、気管支鏡検査の分野に関し、より具体的には、電磁ナビゲーション気管支鏡検査に関するが、これに限定されない。
蛍光透視法)を用いた単一のセンサ電磁感知によって誘導される非ロボットナビゲーション、光ファイバ形状完治によって誘導されるロボットナビゲーション、及び単一センサ電磁感知によって誘導されるロボットナビゲーションを含む、肺の中を移動するプローブをナビゲートするためのシステムが提案及び/または販売されている。当該技術で既知の他のシステムは、蛍光透視法に基づくシステム、CBT(コーンビームCT)誘導システム、及びビデオ位置合わせに基づく気管支鏡検査法を含む。
本開示のいくつかの実施形態の一態様によれば、肺の気道に対する介入器具の位置決めを追跡する方法が提供され、方法は、肺の気道のスケルトン化モデルにアクセスすることと、モデルは、分岐点で接続された複数の気道セグメントを含む、アクセスすることと、スケルトン化モデルの形状に対する変更を制限する解剖学的に定義された制約にアクセスすることと、介入器具に沿った、肺内の複数の位置を示す測定値にアクセスすることと、分岐点の1つまたは複数で気道セグメントの相対角度及び位置をモデル内で修正することであって、修正は、複数の位置によって示される肺の形状と、複数の位置に対応する気道セグメントの配置との間のモデル化された誤差を低減することと、解剖学的に基づいた制約を使用して、気道の形状がモデル化された誤差を低減するためには気道の形状がどのように変化する可能性があるのかを制限することとによって計算される、修正することとを含む。
本開示のいくつかの実施形態によれば、修正することは、共通分岐点で接合された気道セグメントの相対角度を修正することを含み、共通分岐点は、複数の位置の間に延びる介入器具によって横断されない。
本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、共通分岐点での気道の、その相対角度の変化の増加に対する抵抗を含む。
本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、気道セグメントの少なくとも一部の遠位側から加えられる固定力を含む。
本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、気道セグメントの少なくとも一部の長さに沿って曲がることに対する制限を含む。
本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、肺実質を通って互いに結び付けられた気道セグメントの別々の移動に対する制限を含む。
本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、複数の大域的な形状を含むデータセットによって表される大域的な形状の範囲と一致しない大気的な形状を形成する気道セグメントに対する制限を含む。
本開示のいくつかの実施形態によれば、気道セグメント形状の大域的な形状の範囲との一貫性を試験することは、気道セグメント形状を、大域的な形状の範囲内に属するその可能性に従って採点するように構成された機械学習製品を適用することを含む。
本開示のいくつかの実施形態によれば、大域的な形状の範囲は、複数の測定された肺の測定値から導出される。
本開示のいくつかの実施形態によれば、大域的な形状の範囲は、解剖学的に定義された制約の一部として事前に計算され、アクセスされるスケルトン化モデルの修正バージョンから導出される。
本開示のいくつかの実施形態によれば、解剖学的に基づいた制約は、複数の分岐形状を含むデータセットによって表される分岐形状の範囲と一致しない分岐形状を形成する複数の位置に沿った肺部分を表す気道セグメントに対する制限を含む。
本開示のいくつかの実施形態によれば、気道セグメント分岐形状の分岐形状の範囲との一貫性を試験することは、気道セグメント分岐形状を、分岐形状の範囲内に属するその可能性に従って採点するように構成された機械学習製品を適用することを含む。
本開示のいくつかの実施形態によれば、分岐形状の範囲は、複数の測定された肺の測定値から導出される。
本開示のいくつかの実施形態によれば、大域的な形状の範囲は、解剖学的に定義された制約の一部として事前に計算され、アクセスされるスケルトン化モデルの修正バージョンから導出される。
本開示のいくつかの実施形態によれば、方法は、肺のCT画像のセグメンテーションに基づいて、スケルトン化モデルを構築することを含む。
本開示のいくつかの実施形態によれば、構築することは、CT画像のセグメンテーションをスケルトン化することと、スケルトン化において分岐点を識別することと、分岐点の相対角度を表すパラメータ値を分岐点に割り当てることとを含む。
本開示のいくつかの実施形態によれば、アクセスされた測定値は、異なるときに介入器具の異なる位置で介入器具を使用して複数の異なる気道トラックに沿って行われた測定値であり、気道セグメントの相対角度は、肺の撮像されたジオメトリに適合するために分岐点に割り当てられ、修正することは、肺のジオメトリが撮像された時点と、複数の異なる気道トラックに沿った測定時との間の肺位置の変化に従って気道セグメントの相対角度を修正する。
本開示のいくつかの実施形態によれば、アクセスされた測定値は、その測定時間によって呼吸の位相に関連付けられ、修正することは、アクセスされた測定値の呼吸相の関連付けに基づいて、複数の異なる呼吸相中の肺の形状を表す肺の気道の位相変化するスケルトン化モデルを作成するために相対角度を修正する。
本開示のいくつかの実施形態によれば、修正することは、呼吸の位相に関連付けられた新しい測定値のために実行され、新しい測定値の位置とその関連付けられた呼吸の位相の両方に従って位相変化する気道のスケルトン化モデルを修正する。
本開示のいくつかの実施形態によれば、測定値は、各測定値に関連付けられた呼吸相と、異なるモデル化された呼吸相との差に応じた重み付けに従って、異なるモデル化された呼吸相の気道セグメントの相対角度を修正する際に使用される。
本開示のいくつかの実施形態によれば、複数の異なる呼吸相中の肺の形状は、位相に関連付けられた測定値から修正することによって計算された第1の呼吸相での肺の状態と、位相に関連付けられた測定値から修正することによって計算された第2の呼吸相での肺の状態と、第1の位相と第2の位相との間の肺形状の補間によって計算される少なくとも第3の呼吸相での肺によって表される。
本開示のいくつかの実施形態によれば、複数の異なる位相中の肺の形状は、第4の呼吸相での肺によってさらに表される。
本開示のいくつかの実施形態によれば、第3及び第4の呼吸相は、ともに、第1の呼吸相と第2の呼吸相との間で等しく間隔を空けられ、互いに異なる。
本開示のいくつかの実施形態によれば、呼吸の位相は、肺及びその気道を含む体の外面に取り付けられたマーカーの移動に基づいて決定される。
本開示のいくつかの実施形態によれば、方法は、モデルの気道セグメントの配置を表す画像を表示することを含む。
本開示のいくつかの実施形態によれば、方法は、肺モデルに関連付けられた画像中のオブジェクトを表示することを含み、オブジェクトの位置は、気道セグメントの配置の変化に従って更新される。
本開示のいくつかの実施形態によれば、方法は、オブジェクトの位置を気道セグメントの少なくとも1つの位置に関連付けることと、気道セグメントの関連付けられた少なくとも1つの移動に従ってオブジェクトを移動させることとを含む。
本開示のいくつかの実施形態によれば、画像はまた、肺の気道のスケルトン化モデルとの既知の相応関係における肺の3D画像のスライスを表し、スライスは、介入器具が沿って延びる気道に対応する、表示された肺の部分に沿って延びるように選択される。
本開示のいくつかの実施形態によれば、肺の気道のスケルトン化モデルと、肺の3D画像の既知の相応関係は、気道のスケルトン化モデルを肺の3D画像のセグメンテーションから導出することによって確立される。
本開示のいくつかの実施形態によれば、表示された画像は肺の3D表現を含み、3D画像のスライスは介入器具の3D構成に従うために平面構成から湾曲される。
本開示のいくつかの実施形態によれば、表示された画像は、平面表現に平坦化された介入器具を表し、3D画像のスライスはそれとともに平坦化される。
本開示のいくつかの実施形態によれば、気道セグメントの相対角度は、第1の期間中に撮像された肺のジオメトリに適合するように分岐点に割り当てられ、第2の期間中に測定されたさらなる測定値に基づいて決定された肺のジオメトリに対する変化によって修正され、アクセスされた測定値は、介入器具に沿って、第3の期間中に、及び介入器具が同じ位置に留まっている間に行われた測定であり、修正することは、第2の期間と第3の期間との間の肺の位置の変化に従って気道セグメントの相対速度を修正する。
本開示のいくつかの実施形態によれば、この方法は、繰り返し、測定値の連続セットにアクセスすることと、それぞれの測定値の連続セットに基づいて気道セグメントの相対角度を修正することとを含む。
本開示のいくつかの実施形態によれば、修正することは、複数の位置によって示される肺の形状と、複数の位置に対応する気道セグメントの配置との間の誤差を低減する相対角度の新しい値を識別することと、以前の値からの変化の大きさを減少させるために、相対角度の以前の値に基づいて新しい値をフィルタリングすることと、新しい値を使用して、計算された修正を生じさせることとを含む。
本開示のいくつかの実施形態によれば、フィルタリングすることは、事前フィルタリングで識別された新しい値と比較して、複数の位置によって示された肺の形状と、複数の位置に対応する気道セグメントの配置との間の誤差を増加させる。
本開示のいくつかの実施形態によれば、誤差は、各測定値の連続セット間で修正することによって完全にではなく低減される。
本開示のいくつかの実施形態によれば、修正することは、スケルトン化モデルの複数の異なるコピーで相対角度を異なるように修正することと、測定値にアクセスすること、及び新しい測定値を使用して異なるコピーのそれぞれについて修正することを繰り返すことと、肺形状のより妥当な表現に基づいて、異なるコピーの1つを選択することと、測定値にアクセスすること、及び選択されたコピーだけを使用して修正することを繰り返し続けることとを含めることとを含む。
本開示のいくつかの実施形態によれば、修正することは、修正内の気道セグメントの相対角度を摂動させて、摂動された修正を計算することと、摂動後の修正によって摂動前の修正よりも誤差が減少することを特定することと、摂動された修正を使用して、修正することを実行することとを含む。
本開示のいくつかの実施形態の一態様によれば、肺の変形可能モデルを格納するコンピュータメモリ記憶媒体が提供され、モデルは、肺の気道の分岐構造のスケルトン化された表現と、分岐構造の複数の分岐点のそれぞれについて、分岐構造の分岐の向きの表現とに対応するデータ要素と、プロセッサに、分岐構造の分岐の相対向きの表現を修正することによって、提供された幾何学的制約を満たすためにモデルを修正するように命令するように構成されたコンピュータ命令とを含む。
本開示のいくつかの実施形態によれば、複数の分岐点は、分岐構造の第3のレベルの分岐までの分岐点を含む。
本開示のいくつかの実施形態によれば、コンピュータ命令は、プロセッサに、分岐構造のセグメントに沿って距離を修正することなく分岐構造の分岐の向きの表現を修正するように命令する。
本開示のいくつかの実施形態によれば、コンピュータ命令は、プロセッサに、親分岐点で分岐の相対向きを修正する変更を、親分岐点の子分岐点の分岐の空間的オフセット及び向きを修正する変更に伝播するように命令する。
本開示のいくつかの実施形態の一態様によれば、肺の気道内で介入器具の移動を追跡するためのシステムが提供され、システムは、プロセッサと、プロセッサに、介入器具の現在の形状及び位置決めの3D表現にアクセスすることと、気道セグメントの分岐点を含む、気道セグメントを表す気道のモデルにアクセスすることと、気道セグメントを、介入器具の現在の形状及び位置決めに一致させることとを命令する命令を保持するメモリとを含み、プロセッサは、介入器具の現在の形状及び位置決めに対する気道セグメントの相応関係の改善に基づいて、分岐点の分岐の回転修正を決定することと、モデルに修正を適用することとを命令される。
本開示のいくつかの実施形態によれば、回転修正は、介入器具が沿って延びる気道のセクションに対応するモデル化された気道セグメントに適用される。
本開示のいくつかの実施形態によれば、プロセッサは、体の動きの測定値にアクセスするように命令され、プロセッサは、体の動きの測定値に対応する肺形状の変化に一致するように気道のモデルを修正するために、気道セグメントの向きを修正するように命令される。
本開示のいくつかの実施形態によれば、修正は、分岐点に関連付けられた位置データを制御点として使用してモデルに適用される。
本開示のいくつかの実施形態によれば、異なる種類の回転修正は、体の動きの測定値に対応する肺の形状の変化に対する気道モデルの一致を改善するためにその可用性において別々に重みを付けられる。
本開示のいくつかの実施形態によれば、異なる種類の回転修正は、気道セグメントの介入器具の現在の形状及び位置決めに対する相応関係を改善するためにその可用性において別々に重み付けされる。
本開示のいくつかの実施形態によれば、長手方向の曲げ回転修正は、長手方向のねじり回転修正よりも相応関係を改善するためにより利用可能であるとして重み付けされる。
本開示のいくつかの実施形態の一態様によれば、介入器具の位置データを撮像された肺形状に位置合わせする方法が提供され、方法は、肺の撮像された肺形状に基づいて構築されたベースライン肺気道モデルを受信することと、後に、1つまたは複数の肺内プローブを使用して、気道の同じ分岐点の少なくとも2つの異なる分岐を含む肺の気道の複数の分岐に沿った位置を測定することと、測定された位置と位置合わせし、変形ベースライン肺気道モデルを生成するようにベースライン肺気道モデルを修正することであって、変形ベースライン肺気道モデルが複数の呼吸相内の肺気道を表す、修正することと、肺の現在の形状を示す測定値に基づいて、変形ベースライン肺気道モデルに適用可能な変換を決定して、肺の現在の形状を示すように変形肺気道モデルを調整することと、変換に従って変換された、変形ベースライン気道モデルを示す画像を表示することとを含む。
本開示のいくつかの実施形態によれば、肺の気道の複数の分岐に沿った位置の測定値は、それぞれ呼吸相に関連付けられ、複数の呼吸相の異なる位相内の肺気道の表現が、測定値の異なる呼吸相との関連付けを使用して生成される。
本開示のいくつかの実施形態によれば、変換を決定することは、肺の示されている現在の形状に対応する呼吸相を使用して、変形ベースライン肺気道モデルの呼吸相に依存する形状を決定することと、変換を計算して、決定された呼吸相依存形状を肺の示されている現在の形状に変換することとを含む。
本開示のいくつかの実施形態によれば、変形ベースライン肺気道モデルにおいて、複数の呼吸相中の肺の形状は、ベースライン肺気道モデルを修正することによって生成される第1の呼吸相での肺の状態と、ベースライン肺気道モデルを修正することによって生成される第2の呼吸相での肺の状態とによって表される。
本開示のいくつかの実施形態によれば、決定することは、変形ベースライン気道モデルから、第1の位相と第2の位相との間の肺形状の補間によって計算される、第3の呼吸相での肺のベースライン形状を生成することを含む。
本開示のいくつかの実施形態によれば、複数の呼吸相中の肺の形状は、ベースライン肺気道モデルを修正することによって生成される、第4の呼吸相での肺の状態をさらに含む。
本開示のいくつかの実施形態によれば、第3及び第4の呼吸相は、それぞれ、第1の呼吸相と第2の呼吸相との間の位相で同様に間隔を空けられ、互いに異なる。
本開示のいくつかの実施形態の一態様によれば、解剖学的構造の3D画像にアクセスすることと、解剖学的構造を通る経路を画定することと、経路に沿った位置の3D画像内の場所との空間的対応と、3D画像内の場所を含む3D画像を通って延びる表面を計算することと、表面によって画定された解剖学的構造の3D画像の位置からのデータとともに、3D空間を通って延びる経路を示す3D表示画像を表示することとを含む、解剖学的構造を通って曲がりくねった経路に沿って特徴を表示する方法が提供され、経路は、解剖学的構造の形状の少なくとも1つの動的に変化するパラメータの測定値を使用して繰り返し画定され、計算すること及び表示することは、経路が繰り返し画定されるたびに繰り返される。
本開示のいくつかの実施形態によれば、表面は、経路の両側の通路に沿って延びるストリップとして計算される。
本開示のいくつかの実施形態によれば、ストリップは、経路の両側でほぼ等距離延びる。
本開示のいくつかの実施形態によれば、方法は、経路と既知の空間的対応にある解剖学的構造の一部分の3Dモデルにアクセスすることと、3D表示画像内に解剖学的構造の3Dモデルの表示を含めることを含む。
本開示のいくつかの実施形態によれば、解剖学的構造の一部分の3Dモデルも動的に変化する。
本開示のいくつかの実施形態によれば、解剖学的構造は肺の気道を含む。
本開示のいくつかの実施形態によれば、経路は肺の気道を通って延びる。
本開示のいくつかの実施形態によれば、少なくとも1つの動的に変化するパラメータの測定値は、経路に沿って位置決めされた介入器具の位置測定値を含む。
本開示のいくつかの実施形態によれば、経路に沿って配置された介入器具の位置測定値は、経路に沿った複数の位置からの位置測定値を含む。
少なくとも1つの動的に変化するパラメータの測定値は、その測定時間によって呼吸の位相に関連付けられる。
特に定義されない限り、本明細書で使用されるすべての技術用語及び/または科学用語は、本開示が属する技術分野の当業者が一般的に理解するものと同じ意味を有する。本明細書に記載のものと類似または同等の方法及び材料が、本開示の実施形態の実施または試験において使用され得るものの、例示的な方法及び/または材料は以下に説明される。矛盾する場合、定義を含む特許明細書が優先する。さらに、材料、方法、及び実施例は、一例にすぎず、必ずしも限定することを意図していない。
当業者には理解されるように、本開示の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本開示の態様は、本明細書では一般に「回路」、「モジュール」、または「システム」と呼ばれ得る、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をと得る(例えば、方法は「コンピュータ回路」を使用してじっそうされうる)。さらに、本開示のいくつかの実施形態は、コンピュータ可読プログラムコードが具現化される1つ以上のコンピュータ可読媒体(複数可)に具現化されているコンピュータプログラム製品の形態をとり得る。本開示のいくつかの実施形態の方法及び/またはシステムの実施は、選択されたタスクを手動で、自動的に、またはそれらの組み合わせで実行すること及び/または遂行することを含み得る。さらに、本開示の方法及び/またはシステムのいくつかの実施形態の実際の計装及び設備によれば、いくつかの選択されたタスクは、ハードウェア、ソフトウェア、またはファームウェア、及び/またはそれらの組み合わせによって、例えばオペレーティングシステムを使用して実施することができる。
例えば、本開示のいくつかの実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施され得る。ソフトウェアとしては、本開示のいくつかの実施形態による選択されたタスクは、任意の適切なオペレーティングシステムを使用してコンピュータによって実行される複数のソフトウェア命令として実施され得る。本開示のいくつかの実施形態では、方法において及び/またはシステムによって実行される1つまたは複数のタスクは、複数の命令を実行するためのコンピューティングプラットフォームなど、データプロセッサ(デジタルビットのグループを使用し手動作するデータプロセッサを参照して、本明細書では「データプロセッサ」とも呼ばれる)によって実行される。任意選択で、データプロセッサは、命令及び/またはデータを格納するための揮発性メモリ、及び/または命令及び/またはデータを格納するための不揮発性ストレージ、例えば、磁気ハードディスク及び/またはリムーバブルメディアを含む。任意選択で、ネットワーク接続も設けられる。ディスプレイ、及び/またはキーボードまたはマウスなどのユーザ入力デバイスも任意選択で提供される。これらの実装のいずれも、本明細書ではより一般的にコンピュータ回路のインスタンスと呼ばれる。
本開示のいくつかの実施形態には、1つ以上のコンピュータ可読媒体(複数可)の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、限定ではないが、電子、磁気、光、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または任意の前述の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより多くの具体例は、1つ以上の通信回線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能PROM(EPROMまたはフラッシュメモリ)、光ファイバ、コンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または前述の任意の好適な組み合わせを含むことになる。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる使用のために、またはそれらと接続してプログラムを含むまたは記憶することができる任意の有形媒体であり得る。コンピュータ可読記憶媒体はまた、そのようなプログラムによって使用されるための情報、例えば、コンピュータプログラムが、例えば1つまたは複数の表、リスト、アレイ、データツリー、及び/または他のデータ構造としてそれにアクセスできるように、コンピュータ可読記憶媒体によって記録されるように構造化されたデータを含み得るまたは格納し得る。本明細書では、デジタルビットのグループとして取り出し可能な形式でデータを記録するコンピュータ可読記憶媒体はまた、デジタルメモリと呼ばれる。本質的に読み取り専用ではない、及び/または読み取り専用状態にあるコンピュータ可読記憶媒体の場合、コンピュータ可読記憶媒体は、いくつかの実施形態では、任意選択でコンピュータ書き込み可能記憶媒体としても使用されることを理解されたい。
本明細書では、データプロセッサは、それがコンピュータ可読媒体に結合されて、そこから命令及び/またはデータを受信し、それらを処理する、及び/または処理結果を同じまたは別のコンピュータ可読媒体に格納する限りにおいて、データ処理動作を実行するように「構成されている」と言われる。(任意選択でデータに対して)実行される処理は命令によって指定され、プロセッサが命令に従って動作するという効果がある。処理するという行為は、さらにまたは代わりに、例えば、比較、推定、決定、計算、識別、関連付け、格納、分析、選択、及び/または変換など1つまたは複数の他の用語で参照される場合がある。例えば、いくつかの実施形態では、デジタルプロセッサは、デジタルメモリから命令及びデータを受信し、命令に従ってデータを処理する、及び/または処理結果をデジタルメモリに格納する。いくつかの実施形態では、処理結果を「提供すること」は、処理結果を送信すること、格納すること、及び/または提示することの1つまたは複数を含む。提示することは、任意選択で、ディスプレイに示すこと、音で示すこと、プリントアウトに印刷すること、またはそれ以外の場合、人間の感覚機能がアクセス可能な形で結果を与えることを含む。
コンピュータ可読信号媒体は、例えば、ベースバンドでまたは搬送波の一部として、コンピュータ可読プログラムコードが具現化された伝搬データ信号を含み得る。係る伝搬信号は、電磁気、光学、またはその任意の組み合わせを含むが、これに限定されるものではない様々な形のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、もしくはデバイスによる使用のために、またはそれらと接続してプログラムを通信、伝搬、または搬送できる任意のコンピュータ可読媒体であってよい。
コンピュータ可読記憶媒体上に具現化されるプログラムコード及び/またはそれによって使用されるデータは、無線、有線、光ファイバケーブル、RF等、または上記の任意の適切な組み合わせを含むが、これに限定されるものではない任意の適切な媒体を使用し、伝達され得る。
本開示のいくつかの実施形態のための動作を実行するためのコンピュータプログラムコードは、例えばJava、Smalltalk、C++等のオブジェクト指向プログラミング言語、及び例えば「C」プログラミング言語または類似するプログラミング言語等の従来の手続き型プログラミング言語を含んだ1つ以上のプログラミング言語の任意の組み合わせで作成されてよい。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアローンのソフトウェアパッケージとして実行すること、部分的にユーザのコンピュータ上で実行し、部分的にリモートコンピュータ上で実行すること、または完全にリモートコンピュータもしくはサーバ上で実行することが可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)を含む、任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または外部のコンピュータに(例えば、インターネットサービスプロバイダを用いるインターネット経由で)接続することができる。
本開示のいくつかの実施形態は、本開示の実施形態による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図及び/またはブロック図を参照して以下に説明される。フローチャート図及び/またはブロック図の各ブロック、及びフローチャート図及び/またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び/またはブロック図のブロックまたは複数のブロックで指定される機能/行為を実施するための手段を作成するような機械を作り出し得る。
また、これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに特定の方法で機能するように命令できるコンピュータ可読媒体に記憶されてもよく、これによりコンピュータ可読媒体に記憶される命令は、ブロックまたは複数のブロックのフローチャート及び/またはブロック図に指定される機能/行為を実施する命令を含んだ、製造品を製造する。
コンピュータプログラム命令は、一連の操作ステップを、コンピュータ、他のプログラム可能装置、または他のデバイスで実行させて、コンピュータまたは他のプログラム可能装置で実行する命令が、ブロックまたは複数のブロックのフローチャート及び/またはブロック図で指定される機能/行為を実施するためのプロセスを提供するように、コンピュータ実装プロセスを作り出すためにコンピュータ、他のプログラム可能データ処理装置、または他のデバイスの上にロードされてもよい。
本開示のいくつかの実施形態を、本明細書では、単なる例示として、添付の図面を参照しながら説明する。このとき図面を詳細にわたって具体的に参照するが、図示されている細部は例示として本開示の実施形態を説明的に考察することを目的としたものであることが強調される。この点に関して、図面を用いた説明は、本開示の実施形態がどのように実施され得るかを当業者に明らかにする。
本発明は、いくつかの実施形態においては、気管支鏡検査の分野に関し、より具体的には、電磁ナビゲーション気管支鏡検査に関するが、これに限定されない。
概要
本開示のいくつかの実施形態の広範な態様は、生体肺の分岐し、かつ動的に移動する気道内でのプローブのロボットナビゲーションに関する。
本開示のいくつかの実施形態の広範な態様は、生体肺の分岐し、かつ動的に移動する気道内でのプローブのロボットナビゲーションに関する。
肺における介入器具の追跡
肺の複雑な構造は、気管支鏡検査の処置のためのナビゲーション誘導の分野に支障を与えている。これに加えて、肺が柔軟であり、動的に移動しているため、肺の移動を考慮しない位置決めシステムでは固有の誤差が生じやすい。
肺の複雑な構造は、気管支鏡検査の処置のためのナビゲーション誘導の分野に支障を与えている。これに加えて、肺が柔軟であり、動的に移動しているため、肺の移動を考慮しない位置決めシステムでは固有の誤差が生じやすい。
プローブ及び/または標的の位置を追跡するために蛍光透視法、CBCT、またはEBUS(気管支内超音波)を使用することによって、ナビゲーションの精度は潜在的に高まるが、例えば追加の機器、処置の複雑性の増加、及び/または患者及びまたは医師に対する潜在的な放射線量などとの引き換えになる。
別の手法は、プローブの定位を決定するためにENB(電磁ナビゲーション気管支鏡検査)システムを使用する。そのようなシステムは、専用アンテナ(または送信機)を使用して電磁場を生成し、EM(電磁)センサを使用して電磁場を感知する。EMセンサは、定位(送信機)座標に対する先端の6-DOF(自由度)の位置及び向きの情報を提供し得る。EM位置特定技術には、医療用に潜在的な利点がある。例えば、体は、生成されたEM場にとっては実質的に透明であり、電離放射線は使用されない。
従来のENBシステムは、先端に位置決めされたEMセンサを使用する。このようなセンサに限定されると、例えば(肺の気道に対する)制御された動きと、肺自体の移動によって引き起こされる動きを適切に区別する位置追跡を実行することは困難である。この制限を克服するために提案された1つの方法は、カテーテル(または他の介入器具)の形状感知を達成するために光ファイバを使用することである。形状検知によって、介入器具はそれ自体の部品間での相対的な位置決めを感知することが可能になり得る。例えば、先端に位置決めされたEMセンサは、ナビゲートされている肺に対するアンカー位置を提供するために使用され得る。
本明細書では、用語「介入器具」は、より一般的に、管腔に沿って遠位に前進させて遠位標的に到達することによって使用される、薄く長手方向に延ばされた本体を含む可撓性器具の代わりとなる総称として使用される。一般に、前進は、器具の近位側から遠位に向けた圧力を使用して実行されるため、器具が可撓性であったとしても器具に対するある程度の剛性が存在する。介入器具の例は、カテーテル、気管支鏡、及び内視鏡を含む。本明細書では、器具がカテーテル、気管支鏡、または内視鏡に「類似している」として記載されている場合、これらの特徴が言及されている。
本開示のいくつかの実施形態では、EM感知機能は、追跡がカテーテル本体の先端からカテーテル本体に沿って近位に及ぶことを可能にするように拡張される。簡潔にするために、本明細書では、これは「完全介入器具」追跡とも呼ばれる。「完全介入器具」が、必ずしも器具の長さ全体を指すわけではなく、むしろ先端のみの感知が被りやすい位置決めの誤差及び/または曖昧さを克服するために役立つほど十分に長い(例えば、少なくとも5cm、少なくとも10cm、少なくとも20cm)の長さを指すことを理解されたい。これは、例えば、ナビゲートされている気道に挿入される全長、または気管に沿って確立された基準点などの基準点までの全長である場合がある。
器具対解剖学的構造の座標の位置合わせの手法
肺は、複雑な木のような気道の階層システムを含んでいる。複雑さにより、ビデオ誘導の潜在的な難しさが生じている。特に、肺の周辺部においては、気道がより小さくなり、同一に見える場合があり、分岐点の数が指数関数的に増加する。また、例えば肺に存在する粘液によって画質が低下し、ビデオのみに基づいてナビゲートすることが困難になる場合がある。当該技術分野で既知であるように、プローブ位置と、プローブが横断している解剖学的構造との間で外科的に有用な位置合わせを達成する方法は、複数の情報源を使用して複数の段階で実行され得る。
肺は、複雑な木のような気道の階層システムを含んでいる。複雑さにより、ビデオ誘導の潜在的な難しさが生じている。特に、肺の周辺部においては、気道がより小さくなり、同一に見える場合があり、分岐点の数が指数関数的に増加する。また、例えば肺に存在する粘液によって画質が低下し、ビデオのみに基づいてナビゲートすることが困難になる場合がある。当該技術分野で既知であるように、プローブ位置と、プローブが横断している解剖学的構造との間で外科的に有用な位置合わせを達成する方法は、複数の情報源を使用して複数の段階で実行され得る。
大まかな位置合わせ:一部のNB(ナビゲーション気管支鏡検査)システムでは、3D位置特定座標(LOC)のシステムと患者の術前のCTまたはMRIとの間の位置合わせが実行され、この位置合わせは、これらの困難の管理に役立ち得る。本明細書では、「位置特定システム」は、プローブの位置が最初に記述される(または「位置特定される」)座標系を指す。その位置は、本明細書では、プローブの「位置特定座標」によって記述されるものとして参照される。
CTまたはMRIの画像は、肺、特に患者の気道の正確な位置及び形状についての3D情報を含んでいる。気道は、それ自体がCTスキャンまたはMRIスキャンの解像度に依存する特定の直径を超えて解像される。CTまたはMRIの撮像装置は、介入器具がそれに沿って移動し得る「道路」である気道を、実質的にマッピングする。マップはNBシステムに提供され、NBシステムはマップを使用して、例えば、どの方向に曲がるのか、どのくらいの距離を移動するのかなどナビゲーション指示を医師に提供する。ナビゲーション指示は、患者の静的な術前CTスキャン(「マップ」)の上部へ重ねて提示され得、標的へのルートを表示する経路とともに提示され得る。
位置特定された介入器具を、肺内部のその実際の解剖学的な位置に表示するために、相応する正確な位置合わせ(3D変換)が適用されて、測定された3D介入器具位置特定座標を、CTで導出された患者の解剖学的構造のモデルにマッピングする。この変換のパラメータを制約及び/または較正するための1つの手法は、固定された解剖学的位置で基準センサを患者に取り付け、これらを使用して解剖学的構造と位置特定システムとの間の大まかな位置合わせを達成することを含む。基準センサは、患者とともに移動し得るため、システムは、体が位置特定座標内でどのように配置されているのかを認識する。一部のシステムでは、基準センサが解剖学的構造に対して実際にどのように位置決めされるのかは既知ではない場合があり、基準センサは、別個に決定されたなんらかのベースライン位置合わせに比して、LOC体解剖学的構造の位置合わせを計算するために使用される。
大まかな位置合わせの精緻化:隣接する気道を区別するために有用な位置合わせを生成するために、大まかな位置合わせは、追加情報によって強化され得る。例えば、位置合わせは、気道内部での介入器具の先端を使用するいくつかの解剖学的基準のマーキングを使用して精緻化され得る。
これに対する1つの手法では、初期のビデオ支援調査で、医師は、主要な事前に定義された気道分岐点を視覚的に識別し、位置特定された器具の先端でそれらにマークを付ける。マークを付けられた位置は、次にLOC座標に収集され、その対応する解剖学的な(例えば、CT画像またはMRI画像)座標と照合される。これから、LOC対解剖学的構造の位置合わせが計算される。これは、関与する基準の近接できわめて正確である可能性がある。
別の手法では、医師は、肺の主要な気道の内部で介入器具を用いて教師なし調査を実行し得る。この調査により、医師はLOC座標内での介入器具の位置を収集する。教師なし位置合わせアルゴリズムは、例えばエネルギー最小化最適化方法を使用して、これらを気道マップから既知の「道路」と照合する。
十分なサンプルが収集されたら、固有の解決策が見つけられ、初期LOC対解剖学的構造の位置合わせが達成される。これにより、特に調査が実行された肺の領域(通常は、中心領域)で高い精度が提供され得る。LOC座標は、患者のベッド(例えば、アンテナが設置される場所)に対して固定される場合もあれば、標準的な基準センサ補償方法を使用することによって患者とともに移動する場合もある。
動的位置合わせ:これらの手法はLOC座標と気道マップとの間に初期の位置合わせを提供するが、これらの手法は、肺の柔軟で動的な性質によるリアルタイムの位置合わせの不正確さには対処していないことが理解され得る。
肺は、例えば、呼吸、***の変化、及び/または肺の中で移動する介入器具、例えば気管支鏡または他の内視鏡、それとともに使用されるツール、及び/または類似する手術器具により肺に加えられる力の結果としてその形状を変える。(潜在的には他の原因の中でも)これらの結果、初期の位置合わせと、位置特定システムに対する気道の解剖学的構造のリアルタイムの状態との間に偏差が生じる。
一部のシステムでは、位置合わせは履歴に基づいて更新される。例えば、現在の時間枠からの介入器具の先端の単一の6-DOF測定値だけを使用する代わりに、介入器具の経路が短い時間ウィンドウ(例えば、数秒)にわたって構築される。経路は次に、何らかの可能性のある「道路」と一致するためにマップ内部で検索される。結果として、気道内部で介入器具の先端を単に位置特定する代わりに、介入器具が経時的に横断するより長い経路がマップに照合される。例えば、介入器具が特定の分岐点で(例えば、サンプルの履歴から構築された介入器具の経路で見た場合に)「右折する」場合、最終的な介入器具の位置は左の気道上にはあり得ず、それは右側になければならないことが知られている。
本開示のいくつかの実施形態の一態様は、気道セグメントが解剖学的に基づいた制約内で移動するようにパラメータの修正を制約しながら、肺モデルの関連する気道セグメントに影響を与えるそれらのパラメータの修正を介して調整されるパラメトリック肺変形モデルに関する。
本発明者らは、(例えば、最大で約50、100、または150であって、CT表示内のボクセル数よりもはるかに少なく、任意選択で気道スケルトン内の分岐点の総数よりもはるかに少ない)パラメータを割り当てることによって、例えば呼吸、患者の***の変化、及び/または気管支鏡または他の内視鏡、カテーテル、それとともに使用されるツール、及び/または類似する介入器具により肺に加えられる力により、肺が受ける場合がある変形を記述するために、モデルが十分に一般的であることを発見した。介入器具のその本体に沿った位置及び向き(すなわち、介入器具が肺に挿入されている間の介入器具本体に沿った複数の点での位置及び向き)は、肺が移動し、ともに介入器具本体を移動させるにつれ、またはその逆も同様にそれらのパラメータを更新するためのデータソースとして役立つ。いくつかの実施形態では、介入器具本体は、その先端から少なくとも気管まで追跡される。
いくつかの実施形態では、モデル自体が、肺の気道のスケルトン化された表現を含む。スケルトン化された表現は、例えば、肺のCT画像またはMRI画像で実行される気道セグメンテーションにスケルトン化操作を実行することによって生成され得る。変形可能性は、例えば各分岐点で接合されたセグメントの相対的な平行移動及び配向をパラメータ化するなど、スケルトン化された表現の分岐点をパラメータ化することによって肺モデルに導入される。より大きい(より近位の)気道内の分岐点のパラメータに対する調整は、任意選択でより遠位の分岐点に伝播するために可能とされ、肺葉の互いに対する相対的な移動をシミュレートする。
いくつかの実施形態では、個々の分岐点で発生する可能性がある再配置の範囲を制限する機械的特性をシミュレートするために、分岐点パラメータを調整するための自由度に対する制約が追加される。本開示のいくつかの実施形態で提供される制約は、例えば、以下の1つまたは複数を含む。
・分岐点でのセグメントが互いに対してその向き(角度)をどの程度変更できるのかに対する制限。これは、小さい角度の変化に対しては比較的に自由な移動を可能し、相対角度の変化が大きくなるにつれて変化に対する抵抗が増大することを含み得る。いくつかの実施形態では、角度変化に対する抵抗はまた、異なる分岐点での異なる相対剛性を反映するために、気道直径、直径壁厚、及び/または分岐次数の関数として指定される。モデルに対するこのような制約の影響は、例えば、セグメント再配置の一部分を、分岐点自体においてよりむしろ、セグメント長に沿って強制的に曲げることを含む場合がある。複数の分岐点が関与する場合、モデルは、(制約により)一部の分岐点でより多く曲がり、他ではより少なく曲がることを「優先する」場合がある。
・気道セグメントの遠位側から、つまり気道セグメントを気管に固定する気道の分岐構造から離れた側から実施される固定。肺のいくつかの領域は、例えば、胸膜及び中隔などの気道分岐階層の一部ではない構造に対する付着、構造との相互嵌合、及び/または構造による閉じ込めによって所定の位置に部分的に保持され得る。モデルに対するこの制約の効果は、例えば、気道セグメントが多かれ少なかれその元の遠位側の位置に向き続けるように、気道セグメントに近位固定分岐点に対するその向きを斜めにさせることである場合がある。
・肺実質を通して横方向に機械的に(つまり、分岐構造自体を通してではなく)相互接続されるとしてモデル化される気道セグメント。この結合は、例えば近位の複数の分岐点によって分岐構造内で互いから分離された一部の気道を通して伝達され得る。モデルに対するこの制約の効果は、例えば、2つ以上の別々の分岐点での気道角度が、セグメントを引き離しすぎるか、またはセグメントを互いに押し付けすぎるであろう方向でその角度を変更する傾向を低減することである場合がある。
・長さに沿って可撓性をもたせてモデル化された気道セグメント。この制約の効果は、セグメント角度分岐点の変化によるひずみを軽減することである。介入器具の気道セグメントに沿った屈曲部は、モデル内の気道セグメントの対応するパラメータによって対応できるため、これはまた、誤差の削減に役立つ場合がある。
解剖学的制約の表現によって、モデルが、直接的に測定された位置を越えて変形を伝播することが可能になることに留意されたい。測定された形状の変化は、介入器具の現在位置から離れてセグメント及び/または分岐点に及び、制約と相互作用する効果に伝播する、肺形状のより大域的な変化という状況では(モデルの構成に関して)最も妥当と思われる場合がある。
解剖学的に基づいた制約をモデルに適用する別の方法は、肺の気道の解剖学的に現実的な構成を表す提供される入力から学習する機械学習アルゴリズムの結果を使用することである。提供される入力は、適切にスケルトン化された実際の肺の画像に基づく場合がある。モデルの気道スケルトンの配置は、それらが、機械学習アルゴリズムが訓練された配置と適切に一致するかどうかに従って判定される。
いくつかの実施形態では、機械学習は、気道スケルトンの解剖学的な妥当性のパラメータに基づいた(例えば、誤差低減に基づいた)判定と混成される。トレーニングセットの場合、肺の複数のスケルトン化モデルは摂動(例えば、介入器具のモデルによって課される及び/または感知される形状)にさらされる。(例えば、単に列挙されている大部分またはすべてのタイプなど、多くの制約が定義されている)高忠実度の誤差低減モデルは、摂動モデルに適用される。結果に到達するには計算集約的である場合があるが、誤差低減はオフラインで起こり得るので、計算時間はあまり重要ではない。機械学習は次に、例えば当技術分野で既知のトレーニング方法によって生成されたばかりのトレーニングセットに適用される。機械学習の結果は次に、任意選択で、肺気道形状のリアルタイム判定を実行する方法として使用され、より計算集約的な方法の結果をより計算集約的ではない形でカプセル化する可能性がある。機械学習は、肺スケルトン全体のレベル(例えば、最大で3つ、4つ、5つ以上の分岐次数までモデル化される)で、及び/または肺スケルトンの選択された部分、例えば、好ましくはモデル化された介入器具が遭遇し、横断するであろう次の分岐点とともに、介入器具によって占有される単一分岐で実行され得る。
この種類の表現は、動的に変化する肺のジオメトリの現実的なモデリングのための、及び/またはモデル化された肺自体の測定値に一致するようにモデル肺ジオメトリを更新する際に含まれる計算数を削減するための潜在的な利点を提供する。いくつかの実施形態では、更新はリアルタイムで起こり、例えばナビゲーション気管支鏡検査の処置中に、モデルを肺の形状の動的追跡で使用することを可能にする。
分岐点の位置及び角度で肺モデルの動的パラメータを識別する際、モデルはまた、それ自体が分岐点角度情報を容易に提供する肺ジオメトリ測定方法との潜在的な相乗効果を生じさせる。特に、介入器具は、肺の中に前進するにつれて分岐点を横断する。分岐点のモデル化された位置に対応する距離での介入器具の方向の変化は、分岐点の位置及び角度についての情報を提供する。
介入器具の先端だけしか測定に使用されない場合、測定された先端位置及び/または向きの情報は、介入器具がその遠位前進を続行するにつれ、肺形状の表示として古くなる可能性がある。その後の肺変形によって、現在の介入器具の先端位置に対して近位の分岐点での角度の再配置が生じる場合、新規に移動した介入器具の先端位置と一致する位置合わせに肺モデルを戻すために、どの1つまたは複数の分岐点を調整する必要があるのかが曖昧である可能性がある。
本発明のいくつかの実施形態では、この曖昧さは、介入器具の長手方向に延びる領域に沿って位置データを同時に収集することによって対処される。任意選択で、長手方向に延びる領域は、介入器具先端から近位に、介入器具が横断する少なくとも第1の肺分岐点まで戻るように延びる。この状況では、どの分岐点が、及びどの程度、変形するのかを動的に特定する問題は、それらの分岐点の場所を占有する介入器具の部分からリアルタイムで収集されるデータによって制約される。
本開示のいくつかの実施形態の一態様は、本開示のいくつかの実施形態に従って、静的な肺形状の変形可能モデルを動的に変化する肺形状に位置合わせする2段階プロセスに関する。
いくつかの実施形態では、初期の変形可能位置合わせステップで、LOC(空間的に追跡される介入器具の位置特定座標)内のサンプルを収集するために、(好ましくは、完全に追跡される介入器具を使用して)教師なし調査が実行される。変形可能気道マップは、次に、エネルギー最小化最適化方法を使用してサンプルに適合される。これは、LOCと解剖学的構造との間に初期変形可能位置合わせを提供する方法の一例である。
任意選択で、基準センサ(複数可)の存在下では、瞬間的な呼吸相が、位置合わせ中に収集された各サンプルに割り当てられる。これによって、変形可能位置合わせアルゴリズムは、例えば「吸気」用のモデル及び「呼気」用のモデルなどの2つ以上のモデルを、収集されたサンプルに適合することが可能になる。結果として生じる4D位置サンプル(3Dの位置及び呼吸相)は、呼吸補間気道マップに収集される。任意選択で、例えば、7D、つまり位置の3自由度、向きの3自由度、及び呼吸などの別の次元性が使用される。
初期位置合わせ後、動的変形追跡アルゴリズムは、変形モデルを変形可能な肺にリアルタイムで調整して、現実的な変形追跡を提供する。術前のCTまたはMRIの気道マップは相応して変形し、処置中の気道の実際の状態を表すために、位置特定座標に配置される。
モデルは、エネルギー支障化最適化方法を用いて肺に適合される。エネルギー関数は、(解決される変形をまさに合理的な構成に制限する。ここで、合理的とは、肺がどのように移動できるのかに対する理論的及び/または観察に基づいた制限に基づいた制約の集合体によって決定される)形状制約と、(1つまたは複数の位置が特定された介入器具が変形した気道内部にあることを必要とする)標的目標の両方を組み込む。
変形アルゴリズムは、その標的目標、例えば、履歴データの有無と関わらず、1つまたは複数の完全に追跡されるまたは単一のセンサ介入器具などとして使用される位置特定システムソースの任意の組み合わせからの入力を使用して適合を実行する。しかしながら、変形追跡アルゴリズムに、1つまたは複数の介入器具のリアルタイムの完全に追跡される位置及び向きを提供することに対する特定の潜在的な利点がある。解剖学的構造のなんらかの場所における介入器具先端の履歴位置は、解剖学的構造自体のその場所が移動する場合に古くなる場合がある。しかしながら、介入器具の完全形状は、解剖学的構造とともに「更新」し、肺の動態に対する制約として特に有用な情報を提供する。
初期位置合わせと動的変形追跡の両方に変形モデルを使用すると、気道は次に、その現実的な状態でNB処置中に表示できる。モデル化された肺は、患者とリアルタイムで同期して「呼吸し」、それ以外の場合、追加の力が加えられると、動的に変形する。これによって、介入器具を、気道内部のその実際の変形可能な解剖学的位置に表示することが可能になり、全体的なシステムの精度が向上する可能性がある。
測定介入器具が現在横断している(特に現在横断している肺分岐点から比較的に遠い)肺分岐点以外の肺分岐点で発生しているモデルリング変形が(直接的なライブの測定データが欠如しているため)完全に制約され得ないことに留意されたい。しかしながら、肺モデルが介入器具の現在のトラックの端部で標的に向かってナビゲーションを誘導するために使用されている限り、この曖昧さの影響は無関係まで低減される可能性がある。例えば、
・ナビゲーショントラックから離れる肺領域の一部の移動は、標的位置に対して影響を与えないため、無関係である場合がある。
・他のこのような移動は、介入器具の現在のトラック上(または近く)にある分岐点に対して加えられる変形力を介して標的位置に影響を与える場合がある。この場合、新しい測定は変化を検出し、モデルを適切に変形させることによって必要に応じて少なくとも肺の標的を含む部分を位置決めし直すことを可能にする。
・第3の可能性は、このようなトラックから外れた肺変形が、標的に向かう途中のまだ横断されていない肺気道の部分のジオメトリに影響を与えることである。しかし、これらの変化は、一般に、介入器具がその前進を続けるにつれて明らかになり、より遠位の気道分岐点でのジオメトリの変化の連続的な検出を可能にし、標的へのナビゲーションの成功を可能にする。これが、遠位の変形により一般的に当てはまることを理解されたい。
・ナビゲーショントラックから離れる肺領域の一部の移動は、標的位置に対して影響を与えないため、無関係である場合がある。
・他のこのような移動は、介入器具の現在のトラック上(または近く)にある分岐点に対して加えられる変形力を介して標的位置に影響を与える場合がある。この場合、新しい測定は変化を検出し、モデルを適切に変形させることによって必要に応じて少なくとも肺の標的を含む部分を位置決めし直すことを可能にする。
・第3の可能性は、このようなトラックから外れた肺変形が、標的に向かう途中のまだ横断されていない肺気道の部分のジオメトリに影響を与えることである。しかし、これらの変化は、一般に、介入器具がその前進を続けるにつれて明らかになり、より遠位の気道分岐点でのジオメトリの変化の連続的な検出を可能にし、標的へのナビゲーションの成功を可能にする。これが、遠位の変形により一般的に当てはまることを理解されたい。
原則として、第3の可能性に属する症例の一部は、介入器具が遠位の分岐点に到達すると、一方の分岐が他方の分岐に「置き換わる」-すなわち、一方の分岐が、他方の分岐のモデルの現在の表現と一致する位置を占有するほど多く、遠位の分岐点を変形することによって、依然としてナビゲーションに曖昧さをもたらす可能性がある。しかしながら、局所的な組織変形に対する機械的な制約によって、気道トラックの比較的に大きい長手方向範囲にわたってそのような激しい変形が拡散する傾向があるため、2つの隣接する分岐点間で経験される増分的な変形は、2つの分岐点の分岐間の混乱を回避するほど十分に小さいと想定され得る。
いずれにせよ、一方の分岐点の分岐が他方の位置決めと混同される(及び置き換えられる)ほど十分に変形するとしても、逆も当てはまる可能性は低いままであることに留意されたい。その事例は、2つの分岐点を接合する単一のセグメントに沿った180°のひねりにほぼ同等であり、生体力学的に真実である可能性が低い。したがって、曖昧さのリスクが認識される場合、両方の分岐とも交互に横断され得、リスクを回避することを可能にする。
本開示のいくつかの実施形態の一態様は、表される解剖学的特徴の形状を示すリアルタイム更新測定値に基づいて、3D画像データ表面が表す解剖学的特徴の現在位置に対応するように変換された3D画像データ表面の動的表示に関する。
いくつかの実施形態では、3D画像は、介入処置前の時点で取得され、これは、介入標的に到達するために横断される経路に沿った解剖学的領域、及び任意選択で標的自体の画像を含む。特に、それが肺などの分岐した解剖学的構造の管腔に従って画定された経路である場合、経路は、形状が曲がりくねっている-空間内の任意の単一の平面に閉じ込められないように3D空間を通って曲がっている場合がある。
経路が撮像の時点と介入処置自体の時点との間で変化する、及び/または処置中にも変化する限り、経路はまた形状が動的である場合がある。例えば、肺の場合、肺は、上述の理由のいずれかのために経時的に位置が移動する場合がある。特に処置中、呼吸サイクルは、臓器の形状の絶えず続く変化につながり、介入器具は、臓器の移動及び/または変形を誘発する変化する力をかける場合がある。
早期に取得された3D画像データは、標的のサイズ、形状、及び/または位置、ならびに血管などの潜在的に脆弱な構造の相対的な場所などの進行中の処置に対する状況に関連する特徴を含む場合がある。介入器具が移動している及び/または移動することが計画される経路に対して、これらの構造または他の構造のいずれかが、その現在の動的に更新された形状で医師に表示されることは、医師にとって潜在的な利点である。
本開示のいくつかの実施形態では、曲がりくねった経路に沿って特徴を表示する方法は、3D画像のデータ要素の位置を定義する所与の経路に沿った表面を計算することを含む。表面に沿ったデータは、それが経路の現在の(動的に変化する)形状に位置合わせされるように位置が変換される。経路の現在の形状は、その形状、例えば、経路またはその一部分を占有する介入器具の形状を示す測定値、測定値は、現在の肺の膨張状態を示す測定値、または別の測定値によって決定される。
表面は、利用可能な画像データの範囲の限界まで(その変換された3次元形状で)表示される場合もあれば、表面は、経路に隣接するデータ場所のストリップに限定される場合もある。表面に加えて、経路自体が示される場合がある。表面とともに表示される、経路が延びる管腔の形状(例えば、気道の形状、または血管、消化管、尿管、もしくは別の解剖学的構造などの別の管腔の解剖学的構造の形状)を示す3Dメッシュなどの別の表示がある場合がある。
いくつかの実施形態では、通路は、平面的な及び/または直線的な経路に変換され、画定された表面上の経路の両側に対する画像データが、平坦化された画像表示に経路ともに示される。画像データは、任意選択で、いくつかの場所で経路に垂直に画定された一連の線に沿った場所から採取される。しかしながら、表面が経路に垂直な方向に沿って平坦でなければならないという特定の制限はない。表面はこの方向でも曲線状であってよい。いくつかの実施形態では、表面は、経路形状の制約、ならびに介入処置の標的、及び/または血管などの経路に沿った潜在的な危険などの重要な構造の部分を含むなどの制約を最適にかつ共同で満たすように推定された結果として定義される。
本開示の少なくとも1つの実施形態を詳細に説明する前に、本開示が、その適用において、以下の記述で記載される、ならびに/または図面に示される、コンポーネント及び/または方法の構造及び配列の詳細に必ずしも限定されないことを理解されたい。本発明の特徴を含む本開示に説明される特徴は、他の実施形態を可能にする、または様々な方法で実施もしくは実践できる。
変形モデル
ここで本開示のいくつかの実施形態による、肺の変形モデルを生成する方法を表す概略フローチャートである図1を参照する。
ここで本開示のいくつかの実施形態による、肺の変形モデルを生成する方法を表す概略フローチャートである図1を参照する。
概要では、肺撮像データはベースモデル(好ましくは、肺気道のスケルトン化された表示)に変換される。このモデルに、実際の肺の特定の状態に一致するようにベースモデルをどのようにして変形し得るのかを記述するパラメータが適用される。
いくつかの実施形態では、(例えば、次に説明されるような)変形モデルは、比較的に少数のパラメータを使用して、上述の考えられる異なる変形機構の結果を定義すると定義される。少ない数のパラメータで変形モデルを定義することの潜在的な利点は、モデルによる観察データの過剰適合を回避し、最適化プロセスを加速することを含む。
肺の変形は、1つの気道をその近傍の気道と大きく異なるように変形できない限り、分散特性として処理される場合がある。グローバルパラメータは、肺が呼吸中にどのように大域的に拡大または収縮するのか、気管支鏡によって加えられる力により、一方の肺が他方に比較してどのように変形するのか、及び/または両肺が(例えば、患者の異なる姿勢により)どのように大域的な伸びまたはせん断を受けるのかなどの変形特徴を記述するために定義され得る。これらの変形特徴はまた、ナビゲーションシステムの全体的な精度にとって重要である。これらの特徴は、本質的に大域的であるので、いくつかのパラメータ及び制約だけて記述することができる。
以下のモデルは、本開示のいくつかの実施形態では、変形モデリングの実装の基礎として使用される。発明者は、硬質肺ファントム及び半硬質肺ファントム、動物モデル、及び記録されたヒトデータを用いた実験結果からそれを導き出した。以下の特定のパラメータ化に限定されない、変形追跡アルゴリズムによって異なるモデルを使用できることを理解されたい。変形追跡アルゴリズムは、一般に使用中のモデルの特定のパラメータ化には無関係であるが、モデルの適切な選択によって、過剰適合のリスクが低減し、追跡アルゴリズムの性能が大幅に向上することができる。
いくつかの実施形態では、モデルは、肺で気道の中心線を提供する気道スケルトン化に基づいている。気道のスケルトン化は、以下の通りに、例えばデータの準備後に生成される。
ブロック102で、いくつかの実施形態では、患者の術前または術初期のCT、MRI、または他の3Dの画像がNB処置の前の初期化段階でシステムにロードされる。
ブロック104で、いくつかの実施形態では、CT画像またはMRI画像が処理される。気道に属する3Dボクセルは、適応領域成長、ディープラーニング2D/3D CNN(畳み込みニューラルネットワーク)、両方の組み合わせ、または任意の他の適切な方法などのセグメンテーション方法を使用してセグメント化され、マークを付けられる(例えば、コンピュータメモリでラベルを付けられる)。任意選択で、NB処置でナビゲートされないが、肺の形状及び/または異なる方法で形状を変更するその自由度についての情報を提供し得る、例えば血管などの他の解剖学的特徴もセグメント化される。例えば、血管は、肺葉が特定の方向にまたは特定の量を超えて曲がるまたはねじれることを制約し得る。ここでは、より一般的には、特定の肺についての解剖学的情報の任意の詳細な情報源の一例であるCT画像またはMRI画像を参照することを理解されたい。CT画像またはMRI画像は、このような情報を提供するための現在のゴールドスタンダードであると見なし得るが、肺撮像化の分野での現在の発展及び/または将来の発展によって、例えば、X線撮像、磁気共鳴撮像、または別のデータ収集方法における将来の進展に基づいて撮像された情報など、解剖学的情報の別の情報源を使用することが可能になり得ることは排除されない。
いくつかの実施形態では、ブロック104の操作によって生じる気道セグメンテーションは、各ボクセルが空洞に属する場合1であるか、またはそれ以外の場合0であるバイナリ3Dボリュームを表す。これは、上述のように、NB誘導システムによって使用される気道マップ情報の初期の表示を提供する。
ブロック108で、いくつかの実施形態では、ブロック104で生成されたセグメンテーションの3Dバイナリボリュームから、気道のツリー構造を決定するためのステップとしてスケルトン化が実行される。
スケルトン化は、未処理の気道セグメンテーションボリュームを、気道マップをエンコード化するツリー状の構造に変換する。スケルトン化の結果、3Dセグメント化されたチューブのボリュームは、半径を有する中心線のグラフに変換される。
ブロック110で、いくつかの実施形態では、ブロック108で生成されたスケルトン化は、エッジで接続されたノードを含むグラフデータ構造にさらに変換される。各ノードは、セグメンテーションの単一のチューブ(特定の長さの直線または曲線に関わらず、中心線に沿って一定のまたは可変の半径を有する中心線セグメント)を表す。ノードの対を結び付ける各エッジ(有向または無向)は、あるチューブの近位側と別のチューブの遠位側との間のそれらのチューブの接続性を表す。したがって、ブロック110のグラフは、チューブのツリー(非循環)グラフとして肺を表す。
ツリーグラフのルートは気管であると定義される。第1の分岐点は気管分岐部であり、気道階層の残りはツリー内の子孫として続く。スケルトンは、スケルトンを、セグメント化されたボリュームを復元できる気道セグメンテーションの圧縮データ表示と見なし、スケルトン化からセグメンテーションへの逆変換を実行することによって完全性について評価され得る。(当てはまることが判明している)元のセグメンテーションとの適切な一致は、スケルトンがセグメント化された情報のボリュームの大部分をエンコードすることを意味する。スケルトンはサイズがはるかに小さく、横断及び分析がはるかに容易であるため、スケルトンは気道マップの表現としての使用に潜在的な利点を提供する。
ここで本開示のいくつかの実施形態による、肺気道スケルトン化200を概略で表す図2を簡略に参照する。スケルトン化200は、厚さ(黒色領域201)及び中心線(黒セグメントの中心に沿った明るい線202)を用いてレンダリングされる。
図1に戻ると、ブロック112で、いくつかの実施形態では、変形パラメータがツリーグラフのために定義される。これらのパラメータを通して、モデルに柔軟性が与えられる。ツリーグラフ変形パラメータは、必ずしもツリーグラフ内のすべてのそのようなノードに対してではないが、スケルトン化された分岐点ノードごとに定義される。いくつかの実施形態では、ノードは、最大で約3または4のレベルの分岐次数について定義される。ノードは、例えば、介入器具が横断する経路に沿ってなど、適宜により高いレベルについて定義され得る。
いくつかの実施形態では、スケルトンの各分岐点にはローカル分岐点座標からCT座標への4×4の3D剛体変換行列
によって(また任意の他の適切な座標で)記述される座標系が割り当てられる。あるいは、座標系は、4Dクォータニオン及び3D位置によって、または別の適切な方法によって記述されてもよい。
座標系304は、例えば、分岐点
の頂点に位置決めされ、そのY軸
は分岐点305の平面に垂直である。分岐点305の平面は、いくつかの実施形態では、分岐点
を含むだけではなく、分岐点に接続されたすべての気道分岐と最適に位置合わせされる平面として定義される。そのZ軸
は、
で終了する気道の方向に沿って指すと定義され、
となるように強制的に分岐点平面上にあるようにされる場合がある。残りのX軸は、次に
として定義されて、右側座標系を形成し得る。
さらに、ツリー内の第1の(ルート)頂点にはまた、Z軸が気管の始まりの方向を指す座標系
が割り当てられる。Y軸が任意に選ばれてよいが、簡略にするために、Zに垂直かつ気管の端部のYと位置合わせされた最も近いベクトルとして選ぶことができる。
上述のように向きが特別に選ばれた座標系
の特定の構造は、各分岐点を表すために便利であるが、変形モデルは特定の構造に対しては不変であり、分岐点に中心があるあらゆる座標系を使用することができ、すなわちより一般的には、これは分岐及び分岐点の変形状態を反映する。
各3D変換
は、位置ベクトル
と3つのオイラー角
、位置ベクトルと3×3回転行列
、ならびに位置ベクトル及び4Dクォータニオン
によって表すことができる。すべての座標系
のセットは、変換の階層を形成する。気道マップの変形を表すために、提案されているモデルは分岐点を制御点(または接合部)として使用する。それは、分岐点に適用される変形を記述し、内挿法を使用して気道内部の変形を計算する。
とし、上式では、
は
の親分岐点(またはツリーのルート)であり、
を定義する。
は、その親分岐点座標内のi番目の分岐点座標系を表す。次に、
の連鎖乗算規則、つまり
番目の分岐から最大ルートノードまでの、分岐点とその親分岐点との間のすべての相対的な変換の積を書き込むことができる。
に変形を適用することによって、すべての子孫分岐点はまた、ツリー状に影響を受ける。
ここで、本開示のいくつかの実施形態による、分岐点402と401との間の変形前(左側410)及び変形後(右側411)の肺気道スケルトンを概略で示す図4を参照する。変形は、回転
を対応する
に適用することによって、分岐点401及びそのすべての子孫の位置決めを改変する。特に示される他の分岐点は、変形によって影響を受けない分岐点403を含む。
また、
を使用して変形を適用すると、修正された分岐点401のすべての子孫が影響を受ける。これは、肺に適用される変形の大部分の場合に妥当である場合がある。例えば、単一の肺が他方に対してわずかに回転されている場合、これは、例えば図4に示されるように、単一の
を回転させることによって反映できる。
いくつかの場合、子孫に影響を与えることなく、単一の分岐点のみに変形を適用することが望ましい場合がある。これは、対応する
を直接的に修正することによって容易に達成できる。しかしながら、発明者は実験によってツリー状の挙動により肺の変形の性質がよりうまく取り込まれることを発見したので、以下の説明では、変形は
を使用して適用される。さらに、変更ははるかに少ないパラメータでエンコードできる。残りの交差
に対する変更は、次に、上述の連鎖乗算規則によって計算される。
肺の変形をモデル化するために、
は、以下のように
、変形変換
を図4の左側410の状態で表される分岐点座標系に適用することによって修正され得る。
は次に、親座標内の変形を記述する。
(単位行列)である場合、次に変形は(初期状態に対して)
番目の分岐点に適用されない。しかしながら、例えば
(回転軸
を中心とした
度の回転行列)である場合、次に、
は、図4に示されるように
を基準として
分、それを回転させることによって
番目の分岐点(及びそのすべての子孫)を変形する。
親分岐点座標内で
を使用して変形を適用し、変形を強制的にゼロまたは小さいオフセットにすると、分岐点間の距離及び分岐間の角度がほぼ完全に保全される変形モデルが生成される。変形は、図4に示されるように、分岐点での全体的な距離及び角度に影響を与えることなく気道の長さに沿ってモデルに適用される。
は、次に、オフセットが許可されない場合、3つのオイラー角度を使用して、またはオフセットが許可される場合は合計6つのパラメータを用いて記述できる。
いくつかの実施形態では、分岐内部の点の補間は、以下のように行われる。
は、分岐点
で開始し、分岐点(分岐点ごとに、分岐点iで終了する分岐を考慮することによって、分岐点と分岐との間の1対1の相応関係が存在する)で終了する
番目の分岐の初期の形状を記述する曲線を表す。
は、CT座標内で与示される。
は分岐点
の初期の場所を表し、
は分岐点
の初期の場所を表す。
上式では
は、2つの3D剛体変換間の任意の補間関数である場合がある。例えば、
は、変換を回転と平行移動に分割し、各部を別々に処理することができる。回転の補間は、クォータニオンのSLERP(球面線形補間)または任意の他の適切な方法を使用して達成できる。一方、平行移動の補間は、単純な荷重平均によって行うことができる。
要約すると、図1~図4に関して説明された変形モデルは、スケルトン化された気道モデルの分岐点に座標系を割り当て、各分岐点は
として表される。次に、それは、
を使用して時間
での変形した分岐点を記述する。分岐点は、ツリー状の階層内に配置され、変換
及びその変形した対応物
を使用した連鎖乗算規則を使用して計算することができる。
は、その親分岐点座標内の分岐点の変形の便利な表現を提供する。
分岐点について説明してきたが、分岐曲線は、分岐点をその始点及び終点で使用して相応して補間される。いくつかのパラメータだけを使用して、モデルは、NB処置中に肺の中で発生する自然変形の大部分を記述する。モデルは、以下に示されるように、リアルタイムの動的変形追跡の使用及び呼吸補償にも適用できる。
変形可能位置合わせ
ここで、本開示のいくつかの実施形態による、肺気道内に配置された介入器具の位置と、気道の分岐モデルとの間の変形可能位置合わせを実行する方法を表す概略フローチャートである図5を参照する。
ここで、本開示のいくつかの実施形態による、肺気道内に配置された介入器具の位置と、気道の分岐モデルとの間の変形可能位置合わせを実行する方法を表す概略フローチャートである図5を参照する。
ブロック502で、いくつかの実施形態では、医師は、上述のように、1つまたは複数の単一センサまたは完全に追跡される介入器具を使用して、教師なし調査を実行する。サンプルは、LOC座標内で取り込まれ、解剖学的構造内部でのその位置は不明であり、位置合わせのプロセスによって決定される。調査によって生成される位置データ505は、ブロック504、及び特にブロック504Aの動作に利用可能になる。
ベースライン気道マップ503は、例えば図1に関連して説明されるように生成された肺の以前に測定されたなんらかのジオメトリの少なくとも部分的な表現を用いて構造化される。ブロック502で調査され、ベースライン気道マップ503によって表された肺は同じ肺であるが、ベースライン気道マップ503のデータの取得時点と、ブロック502の調査との間でジオメトリに変化があった可能性がある。
ブロック504で、いくつかの実施形態では、教師なし調査データと(例えば、CTを使用して、事前の撮像から生成された)気道マップとの間で厳密な位置合わせが決定される。ブロック504は、同時にまたは連続して、及び任意選択で反復して実行される場合があるブロック504A及び504Bに分けられる。ブロック504Aでは、気道マップに対する修正は、現在の解剖学的状態に対するその類似性を改善するために行われる。ブロック504Bは、厳密な位置合わせ(例えば、平行移動及び回転)を表す。
ブロック504Bの位置合わせのためのアルゴリズムは、当技術分野で既知である。アルゴリズムは、通常、単一のセンサを用いて実行される教師なし調査から開始して、エネルギー最小化最適化方法を使用して厳密な位置合わせの決定を実行する。しかしながら、(ブロック504Aで提供される)追加の修正なしでは、術前のCTから生成された気道マップは、処置の時点での解剖学的構造を正確に反映し得ない。つまり、術前のCTの気道マップと実際の処置中の肺の状態との間には変形がある可能性が最も高い。この潜在的な理由は、例えば、術前のCT(または他の術前の撮像処置)が、通常処置の数日または数週間前に撮影されること、患者がCTスキャン(または他のベースライン撮像処置)に対して変更された姿勢で検査されること、及び/または気管支鏡もしくは他の内視鏡、カテーテル、それらと使用されるツール、及び/または類似する手術器具によって肺に加えられる力がその形状を修正することを含む。
したがって、本開示のいくつかの実施形態では、ブロック504Aで表される追加の操作は、変形モデルがLOCと解剖学的構造との間で厳密な位置合わせを発見するためにより適するように変形モデルを調整する。解剖学的構造は、当初、CTに対して「ヌル」変形モデルが適用された(ベースライン気道マップ503として、CT中の肺の状態を表す)変形可能モデルによって表される。位置合わせ中、変形モデルは、CTまたは他の3D撮像の時点と、NB処置の時点との間の肺の状態の変化を補償するために選択された変形によって修正される。
ブロック506は、肺がさらなる動的変化を受けるにつれ、処置中に変化し続ける場合がある変形モデル(気道マップ)の初期に位置合わされた状態を表す。
本開示のいくつかの実施形態では、ブロック504Aで使用される気道マップパラメータ(変形)に対する変更の選択は、肺の中で位置決めされた、及び/または肺の中で移動している1つまたは複数の完全に追跡される介入器具から取得される位置及び向きの感知データに基づく。追跡からの位置データは、ブロック505からブロック504Aに提供される。例えば、先端でのみ追跡される介入器具と比較されると、完全に追跡される介入器具は、より多くのデータ、特に現時点での介入器具の位置の長手方向範囲をより直接的に示すデータ(例えば、タイムスタンプ)を提供する。
肺は処置中に移動しているので、古い位置データの解釈は曖昧であるか、または誤解を生む可能性があり、そのデータを、介入器具のすべてまたは大部分の現在位置を明確に示すデータよりも役に立たなくする。より古いデータで発生する可能性がある問題の種類の表示として、肺が移動すると、より古いデータに示される介入器具の位置が依然として元の気道内にあるいう仮定は無効に(少なくとも疑わしく)なる。これを補正するために、肺がどのように移動したのかの何らかの情報が必要とされる。しかし、先端のみの追跡では、その情報を提供するために適所にあるセンサはない。他方、完全に追跡される介入器具を用いると、気道自体の移動位置を忠実に表すために、先端に近位の介入器具の部分の移動位置を信頼することができる。さらに、介入器具自体が一種の一定の「定規」となるので、旧データと新データとの間のつながりは明確である。したがって、旧データと新データを比較すると、どのような種類の肺の動きが発生した可能性があるのかを直接的に示すことができる。
ここで、本開示のいくつかの実施形態による、調査データが位置合わせされた調査データ603、603A、603Bとして異なるように位置合わせされた肺モデル状態602、602Aを概略で表す図6を簡略に参照する。この例では、調査データ603のサンプルは、完全に追跡される介入器具を使用して収集された。状態602から状態602Aへの遷移では、領域608及び609(例えば)は、肺モデルの残りに対してその位置を変更している。
パネル610(左)は、肺モデル602に大まかに重ね合された元の調査位置603を示しており、調査データ603との大幅な不整合が生じている。パネル620(中央)は、肺モデル602への調査データ603Aの厳密な位置合わせの結果を示す。これは、ブロック504Aによるモデルの以前の処理なしに、ブロック504Bを実行した結果と似ている。その結果として、特に肺のより遠位部分で誤差が生じる。パネル630(右)は、調査データ603Bによって誘導された変形によって変換され、パネル620に見られる厳密な位置合わせの誤差を補正する肺モデル602Aを示している。
図5の説明に戻ると、本開示のいくつかの実施形態では、ベースライン気道マップ503は、図1に関して説明された変形モデルのインスタンスとして構築される。変形、及びLOCと解剖学的構造との間の厳密な位置合わせの両方を取り込むために、LOC座標内の分岐点座標系として
を考えることが、位置合わせのためには便利である。この意味で、
は解剖学的構造から(このルートノードの)LOCへの厳密な変換をエンコードし、一方、
は上述同様に、分岐点間のローカル変換及びB変形を表す。この単一モデルは、厳密な解剖学的構造とLOCの位置合わせ
、及び局所的なCT変形の両方をエンコードする。
いくつかの実施形態では、ブロック504の最適化プロセスは、(a)(基本的に、ブロック504Bの操作を実行するために)すべての収集された介入器具LOCサンプルを、変形及び変換した気道の内部に入れ、(b)これ(ブロック504Aの操作)を可能にする肺の合理的な変形を記述するモデルに適合するように構成される。これら2つの条件-標的目標及び形状制約-は、任意選択で単一のエネルギー関数にエンコードされる。あるいは、適合は、反復的に交互に複数のエネルギー関数を使用して実行される。
過剰適合を防ぎ、収束をよりロバストにするために、特定の閾値を超える(例えば、第3世代を超える)世代の分岐点は、任意選択でモデルから省略される。任意選択で、上位分岐点世代の1つまたは複数は、下位世代の分岐点との初期適合が解に収束した後にのみ、適合計算に含まれる。介入器具位置測定値(調査によって収集されたサンプル)は、それらが適合に対する寄与においてバランスを保つために、任意選択で前処理されるか、または重みを割り当てられる。
CT座標内の局所的に変形した気道マップと、LOC座標との間での変換の厳密な部分をエンコードするために、6つのパラメータで
が割り当てられ得る(6DOF)。これは、ブロック504Bの操作の一部として使用される。任意選択で、パラメータ値は、制限された(合理的な)検索領域に限定される。いくつかの実施形態では、
は、この種の他のアルゴリズムで行われるように、初期のグローバル検索ステップで検索される。位置データ505及びベースライン気道マップ503の相対的なスケーリングは、データ取得の条件から十分に特徴付けられ得る。任意選択で、スケーリング係数は変換適合に含まれる。
ここで、本開示のいくつかの実施形態による、利用可能なデータと一致するための変形モデルの変形変換の決定、及びさらなる動的モデリングにおける変形変換の使用の要素を概略で表す図7Aを参照する。図7Aに関する説明は、図5の操作のいくつかのより特定の実施形態を概略しており、その実施形態の結果が処置中の肺の動的変化をモデル化するためにどのようにさらに使用され得るのかを示すブロックを追加する。
いくつかの実施形態では、(例えば、ブロック504Aの操作によって実行される)局所変形が、
によってベースライン気道マップに対して実行される(やはり図5に示されるブロック503)。任意選択で、これは3DOF(オフセットが許可されない場合)または6DOF(オフセットが許可される場合)のみで定義される。モデルのパラメータは、単一の状態ベクトル
でアセンブルすることができ、上式で、行列はそのコンパクトな3DOFまたは6DOF形式で表され、
は、最適化プロセスに関与する分岐点である。
ブロック706は、分岐点の分岐によってモデル内で想定される少なくとも回転状態の形で、分岐点に割り当てられた形状を表す。ブロック708は、形状制約を表す。任意選択で、これらの制約は、ブロック706の形状をどのように修正できるのかを制限及び/または誘導するために、分岐点ごとに定義される。
番目の分岐点の場合
、形状制約は、単に以下のエネルギー関数
を使用するだけでエンコードできる。これにより、最適化は、分岐点間の小さい変形及び局所変形のみを検出することに制限される。任意選択で、形状制約は、例えば、機械学習されたスコア重みのセットを特定のモデル構成に適用して、そのエネルギー関数を採点することを介して等、別の方法で指定される。
さらに、
には、分岐点の生成に、または適合プロセスによる歪みを多かれ少なかれ受けやすくするその特性半径に応じて重みを割り当てることができる。例えば、主要な気管分岐部は、より小さい半径のより深い分岐点に比べてより硬くすることができる。
上記の
の定義は、任意の単位の回転行列と平行移動との間の混合による簡略化を含む。あるいは、いくつかの実施形態では、
は、3×3の回転行列
、及び並進ベクトル
に分割される。それぞれを、
及び0とそれぞれ比較することができ、それぞれの差には独自の重みを割り当てることができる。
ブロック504の2つの目標をともに達成する、すなわち(例えば、介入器具の調査移動中の収集された介入器具サンプルからの)位置データ505が変形及び変換した気道内部にあるように、剛体変換(ブロック504B)及び局所変形(ブロック504A)を検出するために、いくつかの実施形態では、一方で収集された介入器具サンプルと、他方で(LOC座標内の)変形及び変換した気道チューブとの間の距離が考慮される。
位置データ505からのサンプルが、気道マップ(ベースライン気道マップ503、または修正後の別の気道マップ)によって画定された気道チューブ内部にうまく収まるとき、次にそれは最適化にいかなる誤差も寄与しないはずである。しかしながら、サンプルが、分岐する気道モデルによって画定された境界の外に位置する場合、次に、モデル及び/または厳密な位置合わせは、この誤差を最小限に抑えるように訂正される必要がある。
収集された介入器具位置サンプルの使用に関する変動は、任意選択で、利用可能な介入器具位置データの型に従って実装される。例えば、5DOF追跡システムで実装すると、各
の回転行列の1番目の軸及び2番目の軸は存在しない場合がある。単一センサ介入器具との使用のために実装されており、各
は、位置合わせ調査中のある時点での介入器具の先端を表す。完全介入器具位置特定システムを用いると、完全介入器具の長さは連続して可視である。この場合、
は、完全に追跡される介入器具を(例えば、スプラインまたは他の内挿法を使用して)その長さに沿って一連の離散変換に分割することによって生成され得、各瞬間(タイムスタンプ)ごとに多くの
を生成する。最適化プロセスは、したがって介入器具位置測定の構造(単一センサ対完全追跡)に、及び追跡される介入器具の数に無関係である。最適化プロセスは、入力として
のセットしか必要としない。
で示されるのは、各
の平行移動(位置)ベクトルである。特定のサンプル
について、サンプルのエネルギーは次のように定義されまる。
上式で、
は、特定の
番目のサンプルに割り当てられた重みであり、
は、セクション(3)に詳細に説明されるように、変形モデル状態ベクトル
によって変形された気道マップスケルトンであり、
は、位置ベクトル
とスケルトンモデル
との間の最も短い距離またはオフセットを出力する関数である。
が実際の変形及び変換を表すとき、
は
ごとに0となると予想される。
はさまざまな方法で選ぶことができる。例えば、完全に追跡される介入器具を用いると、タイムスタンプごとに、完全介入器具が複数の離散
に分割される。それらの対応する
は、変形可能位置合わせを検索するときに、最適化により深い気道に焦点を当てさせるために、例えば、介入器具の尾部に比較して先端により強い重みを割り当てることができる。
の選択のために、
と変形したスケルトン
との間の単純な距離関数を使用することができるが、その場合、最適化はすべての収集されたサンプルをスケルトンの中心線に合わせようとし、これは必ずしもそうであるとは限らない。これを回避するために、変形したスケルトンの半径を考慮に入れる必要がある。スケルトン上の最も近い点からのその対応する半径で距離を除算することによって最も近い正規化(無次元)距離を検出する正規化距離関数が使用され得、正規化された距離は、次に[mm]、[cm]などの代わりに1半径、2半径で測定される。次に、1未満の正規化された距離を気道内部にある点と見なすことができる。したがって、半径正規化距離は、1未満のすべての半径正規化距離をほぼ0と見なし、1を超える半径正規化距離については線形に増加するオフセットを有するSmoothReLUなどの伝達関数を受けることができる。最適化では、依然として中心を外れたサンプルのいくつかで小さい誤差が発生するが、それらは無視できる程度となる。より一般的には、
を定義し得、上式で
はk番目のサンプルの完全3D変換
を見て、完全3D変換と変形スケルトンとの間の最短距離を検出する。この定式化によって、Γは、介入器具サンプルと変形したツリーとの間の配向距離を含むことが可能になり、例えば、介入器具の方向が最も近いスケルトン点の方向と位置合わせされることが必要になる。さらに、介入器具サンプルと変形したツリーとの間の最短正規化距離を単に出力する代わりに、
は、3Dの完全差分ベクトル、つまり一方は位置用、もう一方は向き用の3Dの2つの差分ベクトルを出力する場合がある。最適化が、
及び
の特定の選択に無関係であることを理解されたい。それらは、気道が、好ましくは気道半径に応じた正規化で、及び気道チューブ内部のほぼ一様のコストでサンプルに引き付けられるようにのみ選ばれるべきである。全体のサンプルエネルギー関数は、次に以下のとおりである。
上式で、
及び
は、サンプルに対して気道を変形することと、形状制約を満たすこととの間のバランスを提供し、実験により選ばれる。
は、各成分がある特定の種類の誤差を記述する多次元誤差ベクトルとして表される。最適化プロセスの目標は、合計誤差
を最小限に抑える状態ベクトル
を検出することである。最適化は、勾配降下法、ネルダーミード、トラスト領域、レーベンバーグマルカート(LM)などの様々な非線形方法を使用して行うことができる。(LM)などのいくつかの最適化方法は、誤差関数の表現を誤差の多次元ベクトルとして利用してその収束プロセスを加速し、収束プロセスのロバスト性を高める。例えば、LM最適化は、その収束のために誤差ベクトル
のヤコビアン関数行列式を使用する。
の関数行列式は、数値的にまたは分析的に計算し、LMまたは他の種類の非線形最適化アルゴリズムで使用することができる。
変形可能位置合わせプロセスの出力は、NB処置の初期状態として使用できる変換及び変形モデル
のパラメータを記述する状態ベクトルx(ブロック710)である。完全に追跡される介入器具を用いると、例えば図6に関して説明されるように、収集された介入器具サンプルで柔軟な変形可能モデルを適合させるために十分なサンプルが収集される可能性があり、適合の改善が得られる。
動的変形追跡
図7Aの変形可能位置合わせは、解剖学的構造から
への剛体変換、及び初期状態におけるCTの局所変形
をエンコードするセット
(変換状態ベクトル710)を出力する。NB処置中、ベースライン気道マップは、LOC座標内の気道マップ720の更新された(例えば、現在及びリアルタイムの)状態を反映するために変換/変形される。
図7Aの変形可能位置合わせは、解剖学的構造から
いくつかの実施形態では、更新された位置合わせされた気道マップ720は、
によって記述される。すなわち、ブロック710の全体の変換及び変形は、動的変化をエンコードする追加の動的変換状態ベクトル712とともに、ベースライン気道マップ503に適用される。より詳細には、静的部分
は、変形可能位置合わせから取得され、処置における初期の変形状態での気道マップ変換を記述する。動的部分
は、処置中に更新して肺を変形する動的な力を説明する。
NB処置の開始時、初期に位置合わせされた気道マップ506の生成後、
及び
である。つまり、ベースライン気道マップ503は、変換状態ベクトル710だけによって変換される。追加の変形は、既存の
との組み合わせによってモデルに加えられる。また、
で開始し、処置中に局所的に経時的にそれを変形することを示すために
を書き込むこともできる。
ブロック720の操作により実装された動的変形追跡アルゴリズムは、ブロック504の操作により実装された変形可能位置合わせに類似している。
単一センサ介入器具の場合、
である。完全に追跡される介入器具の場合、例えば、介入器具に沿って各センサをサンプリングすることによって、及び/または介入器具の表現を、スプラインまたは他の内挿法を使用してその長さに沿って介入器具の表現を一連の離散変換にさらに分割することによって、多くの
が与えられ得る。
最初に位置合わせされた気道マップ506を生成する初期の変形可能位置合わせと同様に、ブロック720の変形追跡アルゴリズムは、使用される介入器具の数に、及び各介入器具の構成に無関係である。ブロック720の動的変形追跡アルゴリズムは、時間tのたびに、位置データ505Aからの大部分のサンプルは気道内部となり、適用された変形は、上述のように妥当な肺変形を記述するであろうように、
を計算することによって変形モデルを更新するように構成される。いくつかの実施形態では、これは、気道からのサンプルの総距離によって、及び例えば、ブロック504によって使用される形状制約708のようであるブロック720によって使用される形状制約によって制約されるとしてなど、特定の構成の信じ難さによって定義される2種類の「エネルギー」を一緒に最小限に抑えることを含む。
しかしながら、ブロック504によって実装される変形可能位置合わせアルゴリズムに比較して、ブロック720の変形追跡装置は、その処分においてそれほど多くの介入器具サンプルを有していない。
いくつかの実施形態では、変形追跡は、現在時tでの完全介入器具の現在位置しか使用しない。いくつかの実施形態では、変形追跡はまた、例えば、データが古くなるにつれ重みが減少する、過去のサンプルを
に追加することによって、位置データ505からの過去のサンプルを使用する。
高速(リアルタイム)かつ低遅延で連続的に更新される変形追跡を提供することは、本発明のいくつかの実施形態の目的である。この目的は、位置データ505Aが取得されると、位置データ505Aからの新しいデータに一致するように変形モデルを段階的に更新することによって部分的に支援される。この段階的な更新は、肺の実際の変形速度が位置データ505Aのサンプリング速度に比較して比較的に遅い限りは低遅延の目的と一致する。
上式では、
は、時間
でのモデルの状態ベクトルであり、ここでは動的部分
のみを含んでおり、
は変形可能位置合わせの状態ベクトルであり、
は形状エネルギー関数であり、任意選択でここでは動的部分にだけ集中する-すなわち、それは位置合わせの形状に関して罰を与えるのではなく、追加の動的形状に関してのみ罰を与える(ただし、代わりに、初期形状を考慮される場合がある)。
は介入器具サンプルと、最終的に変換及び変形されたスケルトン(位置合わせ及び動的変形を含む)との間の距離の測定基準であるサンプルのエネルギー関数である。
動的変形追跡装置は、いくつかの実施形態では、変形可能位置合わせから取得される形状が実際通りである-すなわち、それをその形状エネルギー関数に含まないと仮定する。動的変形追跡装置は、介入器具のサンプルに近似し、ブロック504で実行される変形可能位置合わせによって画定された元の形状に比して形状が大きく逸脱しない局所変形補正
のみを検索する。
動的変形追跡アルゴリズムが利用可能な反復ごとの情報が制限される限り、過剰適合のリスクがある。いずれにせよ、リアルタイム更新を維持するために、収束及び実行時間は迅速に発生する必要がある。
いくつかの実施形態では、これらの基準を満たすことは、ブロック720で実装された追跡装置アルゴリズムの注意を、介入器具に近い分岐点に制限することによって支援される。
いくつかの実施形態では、動的変換状態ベクトル712を再計算するときに使用される最適化ツールは、エネルギー関数に影響を与える可能性がある
の分岐点、すなわち追跡される介入器具(複数可)に十分近接した分岐点のみを修正する。これらは、任意選択で、例えば分岐距離及び/または空間内の距離などの距離のなんらかの測定基準に従って選択された分岐点とともに、介入器具が現在横断している分岐点を含む場合がある。
再び、ブロック504で実装された変形可能位置合わせアルゴリズムのいくつかの実施形態と同様に、
は、特定の世代までの分岐点に制限される場合がある。分岐点は、例えば世代または特性半径に基づいて、任意選択で
での最適化のための重みを与えられる。
ここで、本開示のいくつかの実施形態による、図7Aのブロック720の実施形態を概略で示すフローチャートである図7Bを参照する。図7Bの操作は介入器具位置データが連続で種臆されるにつれて反復的に実行されて、処置中の肺の更新されたモデルを維持する。
ブロック730で、いくつかの実施形態では、変形追跡装置は、介入器具サンプル
及び重み
の新しいセットにアクセスする。重みは、例えば介入器具の遠位先端に、そのより近位部分に比較してより強い重みを与えるように調整され得る。
ブロック736で、いくつかの実施形態では、1つまたは複数の収束ステップが、例えば、レーベンバーグ・マルカート(LM)などの非線形反復最適化方法を使用して実行され、
を更新して誤差関数
を最小限に抑える。収束ステップの数は、利用可能な計算リソースの過剰な使用を回避するために選択され得る。収束ステップの数は、1ステップだけなど非常に少ない場合がある。アルゴリズムのリアルタイム操作は、サンプリング時間の間に大きな変化があってはならないことを確実にするために役立つので、モデルは、通常、いかなる場合でもその収束状態に近づくはずである。
ブロック738で、いくつかの実施形態では、結果として生じる
は、任意選択でフィルタリングされて、追跡装置に、例えば以下を使用することによってより円滑な応答を強制し、
は、以前のタイムスタンプ
と新しいタイムスタンプ
の変形状態(0-フィルタなし、即座に更新、1-完全フィルタ、更新なし)の間で実行されるフィルタリングの量を制御する。
さらにまたは代わりに、動的変形は、毎回更新ステップ
の後に適用される任意選択の減衰段階を使用することによって制限され、
は、実行される減衰の量を制御する(0-減衰なし、完全更新、1-完全減衰、更新なし)。減衰
を追加することによって、動的変形はつねに緩和し、ゼロに戻る。変形追跡装置が、焼失しない局所変形変換
を維持するのは、介入器具サンプル
が、変形可能位置合わせに比較して局所変形を示す場合のみである。
本セクションの残りの所見は、ブロック736の誤差最小化計算の詳細に関する。
これは、例えば、介入器具が深く、かなり変形された分岐点、及び/または変形可能位置合わせステップ中にその変形がモデル化されなかった分岐点の近くに位置するときに起こる可能性がある。
このような分岐点からは、介入器具が分岐点で右折するのか、それとも左折するのかは当初は完全に明らかではない場合がある。次に説明される例では、介入器具があいまいにモデル化された分岐点で右折すると仮定される。本明細書に説明される変形モデルと組み合わされた完全に追跡される介入器具の潜在的な利点は、特定の気道に侵入し、短い距離、移動した後に、介入器具自体の形状が、たとえ著しく変形していても、介入器具が右折したのか、それとも左折したのかをシステムに教示する点である。右折後、例えば
であり、上式では
はそれぞれ右折または左折を説明する動的変形の状態ベクトルを表す。しかしながら、変形追跡アルゴリズムは本質的に局所的であるので、
は、ナビゲーション中に
に向かって誤って収束し、適切な(過剰な)動的変形を適用することによって左気道を誤って介入器具と強制的に位置合わせさせる可能性がある。
介入器具が気道内部で短い距離移動した後、
のオプションは、
よりも明確に劣ることになるが、そのときには、局所的な収束アルゴリズムがはるかに後戻りし、極小値
から逃れ、最小値
に収束するには手遅れになる場合がある。
本開示のいくつかの実施形態では、グローバル検索は、極小値から逃れることを可能にし得る動的変形追跡アルゴリズムに組み込まれる。
グローバル検索実装の一例は、小さい摂動
の形で現在の状態ベクトル
の近くに検索(例えば、ランダム検索またはグリッド検索)を適用し、上式では、
は、より小さい総合誤差を有する状態ベクトルを検出しようとして特定の方向で
を修正する。各摂動
の誤差関数は、グラフィックスプロセッシングユニット(GPU)などの複数の計算処理ユニットを容易に利用できる検索アルゴリズムで並列で評価できる。
別のオプションは、複数の仮説手法を使用する。特定の分岐点で、スケルトンは、2つのサブスケルトンに分割され得る。つまり、一方は、左折及びすべての子孫を含み(ただし、右折は含まない)、他方は右折及びすべての子孫を含む(が、左折は含まない)。追跡装置は、一方は、「左」スケルトンを使用し、他方は
の「右」スケルトンを使用する2つの別々の最適化を実行する。左折はサブスケルトンに欠けているので、「右」スケルトンを使用する最適化ツールは、強制的に右折に収束させられる。最初に、「左」最適化ツールはより小さい誤差を示す場合がある。ただし、介入器具が短い距離移動した後、「右」最適化ツールが勝利し、「左」仮説は破棄される。
この手法を正式なものにすると、反復時間
ごとに、介入器具サンプル
からの一定の距離範囲内にあるスケルトン経路
が検索される。介入器具は、それらの経路の1つに嵌合しなければならないと想定される場合がある。次に、
を最小化する
を検出するために局所収束が実行される(ここでは、
はその
距離関数で
を使用する)。各
は、介入器具が経路
の内部に位置するという過程に基づいてエネルギー関数を最小限に抑えるモデルの状態ベクトルを記述する。
変形可能位置合わせと同様に、動的変形追跡アルゴリズムは、誤差最小化最適化問題に関して正式なものになり得る。全体の変形誤差関数
は、複雑な収束面を形成する。ソルバは、極小値を回避しながら誤差関数をリアルタイムで最小化するために、大域的最小化、マルチシード手法(いくつかの開始点)、複数仮説手法、または任意の他の適切な局所/大域方法を使用し得る。xtは、連続的に更新する動的変形経験を作成するために経時的にフィルタリングすることができ、初期の変形可能位置合わせ状態に戻る収束(「緩和」)を加速するために減衰することができる。
変形可能位置合わせとともに、
によって記述される全体の変形変換は、術前のCTと(LOC座標内の)処置の開始時の解剖学的構造との間の変形及び変換と、NB処置中の肺の追加の動的変形との両方を考慮する。変形可能位置合わせアルゴリズムと動的変形追跡装置の1つの大きな違いは、変形可能位置合わせは、多くの介入器具サンプルを参照して、計算に数秒を要する場合がある単一の変形及び変換状態
を生成するのに対し、動的変形追跡装置はリアルタイムであり、タイムスタンプごとに観察されたわずか数個の
に基づいて迅速に進化する
を提供する点にある。
呼吸の変形
本開示のいくつかの実施形態では、図5及び図7Aのブロック504で決定された剛***置合わせは、周期的に変化する位置合わせである。より具体的には、いくつかの実施形態では、位置合わせは呼吸サイクルの移動に従って変化する。
本開示のいくつかの実施形態では、図5及び図7Aのブロック504で決定された剛***置合わせは、周期的に変化する位置合わせである。より具体的には、いくつかの実施形態では、位置合わせは呼吸サイクルの移動に従って変化する。
NB処置での問題は、呼吸によって引き起こされる変形及び不正確さを克服することである。このような動きは、気管及び大気管支の比較的に固定された構造、及び/または堅い構造からより遠く離れた、肺内の末梢標的にとって特に重要である場合がある。
この問題に対処するための手法は、体及び胸部とともに移動する一般化されたLOC座標を作成するために患者の胸部に取り付けられた基準センサを使用することである。呼吸に誘発される肺及び介入器具の移動は、2つの動きが相関する傾向があるため、基準センサ場所の変化を使用してある程度補償される。
しかし、呼吸による肺の変形は複雑である。例えば、ある気道は一方向に変形する場合があり、一方、別の気道は反対方向に変形する。これは、単純な基準センサベースの呼吸補償アルゴリズムの精度を低下させる可能性がある。
このような複雑化させる要因の部分的な補償では、基準センサ読み取り値は、呼吸相を考慮して解釈され得る。例えば、呼吸相
は、基準センサの周期的な動きから計算され得る。位相は、例えば0と1の間の数として表し得、ここでは
は完全呼気状態を意味し、
は完全吸気状態を意味する。この表現では、呼吸相はこれらの2つの極値の間で揺れ動く。あるいは、
は、円
上の実際の位相として理解される場合があり、ここでは、
が完全呼気状態を意味し、
が完全吸気状態を意味する。
を円上の位相として扱うことによって、呼気から吸気への遷移の動きと、吸気から呼気への遷移の動きを区別することが可能になり、これは、必ずしも基準センサ出力の関数と同じ動きのパターンに従わない。
呼吸相を計算すると、呼吸運動と呼吸相との間で相関する関数を適用し得る。概略では、関数は、介入器具の特定の場所での呼吸運動を推定する出力を予測するパラメータとして呼吸相を受け入れる。関数は、例えば、(介入器具ナビゲーション処置の前に)オフラインで及び/またはNB処置中に行われる撮像及び/または測定によって学習される、患者の動きに合わせて調整された呼吸モデルを使用し得る。
リアルタイムで関数を適用することによって、介入器具とマッピングされた気道の両方とも実際には呼吸とともに変形しているにも関わらず、介入器具の呼吸運動は、例えば、それを静的気道マップに対して静的にすることによって補償できる。ただし、もはや呼吸モデルの周期的な予測に一致しなくなるほど肺が変形すると、運動の補償は低下する。
本開示のいくつかの実施形態では、解剖学的構造及び介入器具は、介入器具が肺を通って移動するにつれて、及び呼吸または他の原因による変形を含む、その測定された及び/推定された実際の形状/位置状態で動的に表示される。したがって、介入器具の呼吸運土は、補正の使用によって排除されるのではなく保持される。
いくつかの実施形態では、呼吸をモデル化するために、例えば患者の胸部に取り付けられた1つまたは複数の基準センサに基づいて、呼吸相
が計算される。呼吸相は、例えば、患者の周期的な呼吸運動と相関する追跡基準センサの上下運動に基づいて、標準信号処理方法を使用して計算され得る。最も高いセンサ位置で、患者は完全吸気状態にあると推定され、最も低いセンサ位置で、患者が完全呼気状態にあると推定される。
ハイパスフィルタは、患者の他の体の移動を除外するために使用され得る。さらにまたは代わりに、複数の基準センサが利用され得、各センサの場所はセンサのPCA座標内で計算され得る。いくつかの実施形態では、基準センサの絶対高さまたは相対高さを使用する代わりに、例えば3つの基準センサ間の三角形の面積を調べ得る。例えば、この三角形の面積が最大であるときには患者は完全吸気状態にあり、三角形の面積が最小であるときには完全呼気状態にあると仮定され得る。呼吸相φは、上述の技術の1つに類似した方法で、または任意の他の適切な方法によって計算され得る。
本開示のいくつかの実施形態では、
は、初期の変形可能位置合わせ段階(例えば、図5のブロック504の動作)で使用される。処置の開始時の肺の変形状態を反映する単一の変形可能位置合わせ状態
を、呼吸相
に応じた肺の変形を考慮する時間とともに変化する位置合わせに置き換える。したがって、変形可能位置合わせアルゴリズムは、肺
の
に依存する初期の変形可能位置合わせを検出するように修正される。この結果から、システムは後に呼吸によるリアルタイム肺変形を予測できる。システムの合計補正は
となる-すなわち、初期位置合わせの呼吸相に対する依存性
が導入される。
例えば図7Aのブロック720の動的変形追跡装置は、
の代わりにブロック506からのその入力として
を使用する。
動的変形追跡装置は、
の場合と同様に、位相補償済みの位置合わせ
との差を計算できるが、誤差は少ない可能性がある。例えば、ブロック738に関して説明されたようなフィルタリングは、呼吸サイクル運動を通過させることを可能にするように調整される必要はなく、アルゴリズムのアーチファクト除去特性を潜在的に改善する。
たとえ気道内にいずれの介入器具が存在していなくても、呼吸相は、患者に取り付けられた1つまたは複数の基準センサを使用して任意選択で計算され、気道マップが、患者の実際の呼吸と同期して「呼吸」を続行することを可能にする。
呼吸相
を使用するいくつかの実施形態では、
は、それぞれ1つは、呼気の場合の変形可能位置合わせの状態、1つは吸気のための変形可能位置合わせの状態である、極値状態
及び
の測定値から計算される。これらの測定された状態の間に、他の状態が保管される。つまり、
である。これは、呼吸相
を使用して、「呼気」状態と「吸気」状態との間を補間する。極値状態は、任意選択で単一の位置合わせ調査から計算され、いずれかの極値で行われた測定値を異なるデータセットに分離する。
状態ベクトルは、ここで、両方のモデル、つまり呼気及び吸気を組み込む。形状エネルギー関数は、両方のモデルが同様の形状制約を課すように任意選択で修正される。
さらなるカスタマイズのために、各モデルに異なる形状制約を割り当てる場合もあれば、少なくとも異なるように重み付けする場合がある。例えば、重み付けは、術前CTが完全吸気状態で撮影されたという知識に基づく場合があり、したがって、「吸気」モデルに比較して「呼気モデル」ではより顕著な変形があると予想される。重み付けされた補正は、例えば、位相変化する項
の導入によって処理される。
これにより、両方のモデル
とも介入器具サンプルに向かって引き寄せられ、
で採取されたサンプルはおもに「呼気」モデルに影響を与え、
で採取されたサンプルは、おもに「吸気」モデルに影響を与え、
が
の内部に十分に含まれるサンプルは両方に影響を与える。
2つのモデルを収集された介入器具サンプル
に適合させるために、利用可能なサンプル
の数は
の範囲から多様にサンプリングする必要がある。いくつかの実施形態では、制御システムは、過剰適合を防ぐために、両肺から、及びすべての呼吸相から十分な多様性を有する十分なサンプルが確実に収集されるように構成される。これは、完全に追跡される介入器具を用いれば、タイムスタンプごとに多数の介入器具サンプルが収集されるため、はるかに容易に行われる可能性がある。
2つの主要な位相呼吸モデルが、任意選択で任意の数の主要な呼吸相に拡張されることに留意されたい。例えば、
を定義する場合があり、その場合、3つの対応する主要な呼吸相、つまり呼気、呼気-吸気、及び吸気を記述するために3つの位置合わせ状態が使用される。次に、3つの主要な位相
の間で補間が行われ、エネルギー関数は上述同様に定義される。円
上の完全呼吸相の場合、好ましくは少なくとも3つの主要な呼吸相が完全呼吸サイクルをモデル化するために使用される。単純な位相
の場合、2つの主要な位相で十分な可能性がある。
より多くの主要な呼吸相を追加すると、呼吸モデルの精度が上がる場合があるが、十分な介入器具サンプルが存在しない場合、呼吸モデルで過剰適合が引き起こされる可能性もある。
変形及び呼吸のビュー
本開示のいくつかの実施形態では、システムは、任意選択で、変形可能な肺モデルによってモデル化された肺の中に位置決めされた1つまたは複数の介入器具の位置を示すビューとともに、変形可能な肺モデルのビューを示すように構成される。ここで、本開示のいくつかの実施形態による、変形可能な肺モデルビューを生成する方法を概略する概略フローチャートである図8を参照する。
本開示のいくつかの実施形態では、システムは、任意選択で、変形可能な肺モデルによってモデル化された肺の中に位置決めされた1つまたは複数の介入器具の位置を示すビューとともに、変形可能な肺モデルのビューを示すように構成される。ここで、本開示のいくつかの実施形態による、変形可能な肺モデルビューを生成する方法を概略する概略フローチャートである図8を参照する。
気道セグメンテーションの滑らかな境界面を記述する3Dメッシュは、ナビゲーション気管支鏡検査中に使用するための気道マップを表すために使用され得る。3Dメッシュは、頂点のセット、及び頂点を接続して表面を形成する三角形の面から成り立つ。任意選択で、気道3Dメッシュは、スキニングプロセスで気道マップを表す「合成」3Dメッシュを形成するために気道スケルトン(中心線及び半径)から直接的に生成される。さらにまたは代わりに、CTボリュームからまたはセグメント化された気道ボリュームから直接的に取得された勾配情報は、気道の細かいテクスチャを取り込むために使用される。これにより、より「現実的な」メッシュが生成される可能性がある。
本発明のいくつかの実施形態では、変形可能な肺モデルの現在の変形状態は、好ましくは、システムによって表示される肺関連2D/3D特徴(ビューオブジェクト)のいずれかのビュー(すなわち、モデルのスケルトンだけではなく)に適用される。これには、解剖構造をそのリアルタイムの状態で現実的に示すという潜在的な利点がある。
そのようなビューオブジェクトの例は、例えば、気道3Dメッシュ、球体または現実的な標的メッシュなどの標的表現、肺を通る経路、肺の中のウェイポイント、及び/または肺を撮像するCTスライスを含む。
ここで図8Aのブロック810を参照すると、本開示のいくつかの実施形態では、ビューオブジェクトの変形状態の位置決めの決定は、ビューオブジェクトを変形可能な肺モデルのスケルトンの気道に関連付けることから始まる。
いくつかの実施形態では、この関連付けは、(例えば、モデルスケルトンを画定するために使用される元のCT画像の空間などの予歪空間で画定された)表示されているオブジェクトの1つまたは複数の頂点を、気道に沿ったそれぞれの気道距離及び正規化距離
に割り当てることを含む。例えば、3D気道メッシュの場合、メッシュの各頂点は、特定の距離
にある特定のスケルトン分岐からその分岐に沿って発生する。3Dメッシュは、気道スケルトンの階層と同一の分岐の階層に分割され得、各サブメッシュはスケルトンの特定の分岐に対応し、分岐上の各頂点には
の値が割り当てられる。
任意選択で、ブロック812、814の変形は、中央処理装置(CPU)によって適用され、適切な変形変換を使用して、すべての頂点(及び法線)を変換する。任意選択で、変形は、例えば3Dシェーダーを使用してグラフィックスプロセッシングユニット(GPU)によって適用される。シェーダーは、グラフィックスパイプラインの特定のセクションごとにGPUで実行するプログラムである。頂点シェーダープログラムは、グラフィックスパイプライン内の各頂点の処理を担当し、オブジェクトが表示される前にオブジェクトのジオメトリを変更するために使用できる。
3Dメッシュを分岐(サブメッシュ)の階層に分割すると、頂点シェーダーを使用して変形モデルを適用するのに役立つ。各分岐(サブメッシュ)を描画する前に、頂点シェーダーは行列
を与えられる。次に、分岐ジオメトリ情報(頂点、法線、テクスチャ座標など)を含む描画コマンドが発行される。分岐に沿った
距離は、頂点シェーダープログラムが距離にアクセスできるように、例えば未使用のテクスチャ座標チャネルを使用して追加の頂点ごとのデータとして与えられる。シェーダープログラム内部では、頂点はその
距離とともに入力される。事前に設定された
を使用し、補間された変形変換は特定の頂点に対して計算され、頂点位置及び法線に適用される。変形モデルはまた、CUDAなどの汎用GPUコンピューティングツールボックスを使用して、または任意の他の適切な方法で適用できる。
3D標的球体、誘導矢印、テキストなどの小さいオブジェクトに変形モデルを適用するために、変形モデルが滑らかであり、その小さい近傍で大きく変化しないことが観察される。したがって、小さいオブジェクトは一様な変形変換を受けると仮定され得る。変形モデルを適用するためには、小さいオブジェクトには、気道マップから特定の分岐(例えば、最も近い分岐)、及び分岐に沿ったその距離(またはその重心距離)を示す一定の
距離が割り当てられる。その頂点(及び法線)は、次に上述のように変形される。
ここで、本発明のいくつかの実施形態による、単一モデルの分岐点802及びその子孫の変形前及び変形後の3Dメッシュ800のレンダリングを概略で表す図8B及び図8Cを参照する。また、標的801の表示も示されている。
図8Bの基礎となるモデルを図8Cの基礎となるモデルに変換するために適用された変形は、図4について示されるのと同じ分岐点802の単一分岐点変形である。ただし、変形はここで、上述のように、3Dメッシュの頂点(及び法線)に適用されて、滑らかに変形した3Dメッシュを表示する。パラメータの調整は分岐点自体に対して行われる。図8Cで屈曲が増加して見えるのは、分岐点802で変化した構成と、それに最も近位の分岐点との間で気道が補間された結果である。使用される補間は均一な曲線である可能性があるが、そうである必要はない。例えば、いくつかの実施形態で、気道がより大きい、及び/または気道壁はより厚い、より近位の分岐点付近では、剛性はより高くなるように制約され利用可能な場合、2つの分岐点を結び付ける気道領域を通る介入器具からの位置測定値は、さらにまたは代わりに制約として使用できる。湾曲部は、肺のベースライン状態に存在する湾曲部によって任意に制約される。
標的801は、対応する
距離を有する特定の分岐に割り当てられることによって変形される小さい(例えば、直径約1cm)の標的を示す。小さい3D標的が分岐点にまたはスケルトン上方にも位置決めされる場合など、単一の小さいオブジェクトに複数の気道を割り当てることができるように見える場合がある。この場合、小さいオブジェクトをスケルトンと結合するためにどの分岐を選ぶのかはあまり重要ではない。変形モデルは滑らかであり、
が使用されているため、変形補間式は、気道の異なる(近い)割り当てに同様の結果を生じさせるであろう。しかしながら、オブジェクトが気道マップから遠くに位置するとき、例えば標的が、セグメント化された気道に比較して非常に抹消であるか、または完全なCTスライスが変形される場合には、以下に説明するように、より複雑な変形外挿技術を実行する必要がある。別の状況では、標的オブジェクトは、おもに肺以外の構造(例えば、胸郭)に関連付けられ得、肺は連絡路として使用される。特にこの場合、標的がそれに近い気道とともに移動することをあてにすることはできないため、肺の位置の絶対的な優れた表示精度を有することが重要である。
他の状況では、標的に変形位置は、追跡される変形可能な気道に基づいて予測され得る。これは、(CTスキャンまたはMRIスキャンによって表されるように)変形が組織を通じてどのように伝播するのかを予測する訓練済みのモデル(例えば、最終要素モデル)を使用することによって任意選択で実装される。この場合、標的は、気道にも、任意の他の特定の解剖学的構造にも関連付けられない。代わりに、その位置は、標的に周辺組織に向けて、追跡される気道の変形を伝播することによって変形される。
変形モデルは、変形変換
のセットを使用して分岐点がどのように変形するのかを記述する。これらの変換は、気道の湾曲した中心線上の各点がモデルに従ってどのように変形するのかを記述するために分岐に沿って補間することができる。正確に中心線上にないが、十分に近い(例えば、気道の半径2つ以内)点は、その最も近い中心線の点と同じように変形すると仮定できる。ただし、気道の変形に基づいて、いずれの気道からも遠く位置する点がどのように変形するのかを教えることは比較的に容易ではない。例えば、本開示のいくつかの実施形態で実装される特徴は、肺内部の現在の介入器具の場所を含むCTスライスを、専用ビューまたは組み合わせビューで(気道マップとともに)表示することを含む。変形追跡アルゴリズムのいくつかの実施形態では、NBシステムは、解剖学的特徴を空間内のその実際の位置で表示し、これは、任意選択で適切に変形されたCTスライスの表示を含む。CTスライスを変形しないと、スライス内のボクセルデータは、いずれの変形も適用されていない処置前の解剖学的構造の状態を反映する(また、表示される他のオブジェクトと整列しない)。
変形モデルを気道の外側の領域に拡張する問題は、外挿の問題である。変形モデルは、3D空間内の特定の位置で既知であり、他の点まで外部に拡張される必要はない。外挿は、例えば、より一般的に薄板スプライン(TPS)もしくは別の放射基底関数(RBF)または一般的な基底法を使用することによって達成できる。さらにまたは代わりに、例のトレーニングセットでのトレーニングに基づいて、肺組織内で最も可能性の高い変形伝播を予測する機械学習方法が適用され得る、及び/または有限要素シミュレーションモデルが、CTスキャンまたはMRIスキャンで表される組織を通る変形の伝播を予測するために使用される。
いくつかの実施形態では、例えば、基底関数(例えば、TPS)のセットは、変形モデルが(変形モデルに従って)分岐点または全長の中心線点もそれらの既知の目的地に送るように、変形モデルの既知の制御点で訓練される。外挿モデルは、次にどこででもサンプリングできる基底関数を使用する。基底関数は、既知の制御点を適切な精度に近似させるので、基底関数は(気道に属していない)外部点を妥当な目的場所に送ると仮定される。これらのモデルは、肺に適している滑らかさの基準と組み合わせることができる。
外挿法の別の例は、K最近傍(KNN)方式を使用する。気道内部に位置していない点
は変形される。次に、
は、変形されていないスケルトンからのその
最近傍点について検索され、これらの点は距離を使用して重みが
の
で表される。例えば
で
であり、
に近い近傍に強い重みを与える。
を増加することによって、最も近い点は他に比べてより支配的になる。
最近傍点及びその重みを使用して、以下の通りに
の変形オフセットを計算できる。
滑らかに拡張する制御点にのみ基づく単純な外挿方式を使用する代わりに、より複雑な変形外挿を実装できる。例えば、肋骨は、NB処置中に大きく変形しない限り、静的であると仮定できる。この情報は、追加の制御点に関して外挿関数に追加できるセグメント化された胸郭の表面で点を生成し、変形においてそれらの点を強制的に静止状態に保つことができる。これは、外挿関数に境界条件を提供し、外挿関数は、胸郭に近づくにつれて強制的に減衰する。あるいは、肺は、その気道を使用するだけではなく、血管、亀裂、胸膜、及び他の解剖学的特徴を使用してモデル化される。これらの特徴は、次に(上記の変形モデルと同様に)スケルトンモデルに送られ、いくつかの既知の制御点に基づいて肺全体の変形を予測するために使用できる。いくつかの実施形態では、例えば、有限要素シミュレーションを適用し、したがって制御点間の肺の変形のより適切な予測を提供することによって肺の物理特性がシミュレートされる。いくつかの実施形態では、訓練された機械学習モデルは、既知の制御点から他の肺組織への変形の伝播(または外挿)を予測するために使用され、たとえば従来の有限要素シミュレーションを管沙汰された肺組織の挙動から導出された理解に置き換える。
ここで、本開示のいくつかの実施形態による、単一分岐点及びすべてのその子孫の変形前(図9A)及び変形後(図9B)の16×16のスライス補間グリッドを概略で示す図9Aから図9Bを参照する。スケルトン901の分岐点900は、図9Bで変形されており、肺領域902の移動にもつながる。
完全なCTスライスを変形するとき、CTスライス内の各ボクセルは、任意選択で上述の外挿方法の1つを使用する。ただし、CTスライスは通常多数のボクセル(例えば、512×512)を含み、外挿式の計算はかなり複雑になるので、これは計算コストを高くする可能性がある。CTスライスの変形は、例えば、CTスライス全体をカバーする16×16のブロックから成る低解像度の均一なグリッドを構築することによって簡略化され得る。変形は各端点で計算され、グリッド点間の変形は、次に例えば、2Dバイリニア補間、バイキュービック補間、スプライン補間を使用するなどの近傍の端点を使用した単純な補間、または任意の他の適切な方法により計算される。直接的なピクセル単位の変形計算よりむしろ内挿法を使用することは、計算リソースの点で非常に好ましく、変形モデルの合理的な滑らかさにより、直接的な変形手法とほぼ同程度に正確である。より細かい結果が必要とされるときには、より高密度のグリッドを使用できる(例えば、32×32ブロック)。
ここで本発明のいくつかの実施形態による、解剖学的構造を通る曲がりくねった経路914に沿った位置に対応する解剖学的構造の元の3D画像の領域を含むように湾曲するように画定されたジオメトリ断面に沿って延びるCT断面910を概略で示す図9Cを参照する。いくつかの実施形態では、経路914は気道を通る経路である。いくつかの実施形態では、経路914は、介入器具の形状及び位置によって画定される。いくつかの実施形態では、経路914は、治療標的、血管、または関心のある他の構造などの解剖学的特徴をウェイポイントとして試使用するために画定される。経路914は、処置中の条件(例えば、介入器具の現在位置)に基づいて定義され得る、及び/または例えば介入器具の標的に到達するために計画された経路などの事前に定義されたセクションを含み得る。
CTセクション910は、3D画像のボリュームを通って延びる表面が交差する位置に配置されるソースCT画像のデータに対応し、表面自体が経路914に沿った位置を含む。
いくつかの実施形態では、経路914は、それが対応する介入器具の測定された形状に対応する3D形状に対応するようにレンダリングされ、CTセクション910は、領域の相応関係を維持するためにその元の座標から歪められる。いくつかの実施形態では、介入器具経路914及びCTセクション910は、変形モデル912のレンダリングされたメッシュビューも含む複合3Dシーンにともに示される。
単一センサ介入器具では、変形されたCTスライス910は、上述の低解像度変形グリッドを使用して肺全体の変形を反映して表示され、介入器具の先端を中心とする。CTスライス910は、大域的(CT境界に到達する)または局所的(例えば、図10A~図10Bに説明されるように、肺の気道を通る特定の経路を囲む)である場合がある。完全に追跡される介入器具では、表示されたCTスライスは、介入器具の曲線のすべてまたは大部分(単に先端だけではない)を横切り、それを非平面的になるように幾何学的に湾曲する場合がある。このような湾曲したCTスライスは、介入器具全長に沿った変形した解剖学的特徴を表示し、これによってNB処置の貴重な情報(例えば、血管、亀裂、隔膜、及び/または胸膜の場所)が提供される。湾曲したCTスライスはまた、特定の重要な解剖学的特徴を横切る場合がある。例えば、湾曲したCTスライスは、気道マップ内の次のナビゲーション分岐点を横切り得るため、分岐点の断面は介入器具の前のスライスに表示される。湾曲したCTスライスを使用する潜在的な利点は、変形した3DのCTボリュームを、介入器具の領域でのナビゲーションのために貴重な解剖学的特徴の大部分をエンコードする2Dボリュームに圧縮することである。
すべての重要な解剖学的特徴がつねに滑らかな2D湾曲面上にあるわけではないので、湾曲したCTスライスの特定の形状は、位置及び向きで、重要な特徴(例えば、介入器具の経路914及び/または標的916)のリストに近似する2D湾曲面を検索し、重みが各特徴の重要性を記述する最適化プロセスで解決することができる。最適化プロセスは過剰な歪みにペナルティを課すための重みを含む場合がある。例えば、最適化は、深い及び/浅い曲げ角度をペナルティを課す場合がある、及び/または極端な湾曲部が寄与する追加表面積の量に基づいて極端な湾曲部にペナルティを課す場合がある。最終的な結果は、変形した3Dボリュームをコンパクトな2DのCTビューに圧縮する湾曲したCTスライスである。
CT画像は一例として図9Cに説明されているが、表示方法が、例えばMRI画像、超音波画像、及び/または陽電子放射断層撮影法(PET)などの別の3D画像タイプを使用して任意選択で実行されることを理解されたい。任意選択で、(任意選択で、異なる撮像モダリティタイプの)2つ以上の3D画像からのスライスが結合される。
ここで、本開示のいくつかの実施形態による変形前(図10A)及び変形後(図10B)のレンダリングされたメッシュビューを含む複合3Dシーン内の通路に沿ったCTストリップ1002、1003を概略で示す図10A~Bを参照する。
図9A~図9Bに関して説明された低解像度2D変形グリッドは、補間によるグリッド点間の任意のピクセルの変形の迅速な計算を可能にし、変形したCTスライスのリアルタイム表示を可能にする。CT(または他の3D画像)のボリューム全体をカバーする3D変形グリッドを作成するために、同じ技術を一般化できる。変形は、グリッドの制御点ごとに計算され、次にグリッド点間のボクセルに補間できる。3D変形グリッドによって、撮像されたボリューム内部のどこにおいても変形の高速計算が可能になる。これにより、ともにレイキャスティングレンダリング技術を使用する変形仮想気管支鏡検査法または変形仮想蛍光透視法などの変形した肺の3Dビューのリアルタイム表示が可能になり得る。標準的な仮想気管支鏡検査のビューでは、仮想カメラは気道内部に位置決めされる。画面上の各ピクセルは、撮像されたボクセルを通過してそのピクセルの最終的な陰影を蓄積する光の単一の仮想光線を表す。最終的な結果は、気道内部の実際の気管支鏡の画像に類似して見える現実的な画像である。標準的な仮想気管支鏡アルゴリズムはそのレイトレーシングステップで静的なCTボリュームをサンプリングするが、変形したCTボリュームのレイトレース画像を作成するために、3D変形グリッドが動的仮想気管支鏡検査アルゴリズムで使用され得る。静的な3D画像のボクセルをサンプリングする代わりに、各レイトレーシングステップで、各光線の場所は、3D変形グリッドを使用して、初期の変形されていない3D画像内部の変形場所に変換され、これによって変形したCTがリアルタイムで効果的にサンプリングされる。
NB処置中、医師は、気管1000から標的1005までの経路をたどるためにツール(例えば、介入器具)を誘導する。経路は、気道マップ内部の3D中心線として表示できる。医師は、上述のように、介入器具または介入器具の先端に中心がある局所的なCTスライスを使用して介入器具の周りの未処理のCTデータを提示され得るか、またはシステムは、例えば、図10A~図10Bに示されるように、経路に沿って3D内で完全CTストリップ(任意選択で、経路の両側でほぼ等距離に伸びるストリップ)をレンダリングし得る。肺が(例えば、介入器具の一の測定値及び/または別のパラメータによって示されるように変形すると、CTデータは、変形した他の解剖学的特徴とともにその変形場所に表示する。CTスライスを変形するために、(その元のCTデータを保持しながら)空間内でのその位置を変形場所に変形できるか、またはそのCTデータを変形させつつ、空間内のその位置を固定したままとすることができる。3DのCTストリップは、自然に気道に結び付けられているので、それは図10A~図10Bに示されるように気道とともに空間内で変形する。したがって、3DのCTストリップはその元のCTデータを保持するが、3D気道マップの変形と同様に、空間内でのその位置は気道とともに滑らかに変形する。
ここで、本開示のいくつかの実施形態による、介入器具1101がたどる3D経路に沿って抽出されるCT画像データの平坦化されたストリップ1100を示す図11を参照する。
CTストリップ1100が静的な2D背景画像として表示され、介入器具1101及び/または標的1102が経路座標内の静的画像の上部に投影された2D経路ビューを生成するために、図10A~図10Bに示される3DのCTストリップが任意選択で使用される。3DのCTストリップと同様に、このビューは、特定の標的まで経路に沿ってナビゲートするための最も重要な解剖学的情報をエンコードする可能性があるが、それは3Dカメラ場所とは無関係に、かつ図10A~図10Bに見られる3DのCTストリップビューで起こる場合がある3Dオクルージョンなしに、最初から最後まで平坦な表面として経路全体を示す2Dビューに投影される。2D経路ビューの潜在的な利点は、2D経路ビューを変形に対して不変にするその局在性である。変形が適用されると、CTストリップは(上述のように)変形した気道をたどるため、変化せず、介入器具は通常経路内部の(例えば、経路座標内の)位置を保持する。
3D気道メッシュ及びCTスライスを含む、表示されているすべての2D/3Dオブジェクトに変形モデルを適用すると、複合変形シーンをリアルタイムで生成することが可能になる。例えば、患者の呼吸中、呼吸3D気道マップは、患者の呼吸と完全に同期して、呼吸CTスライスが重なって表示され得る。別の例として、操縦中、介入器具は内部をナビゲートする気道に力を加える場合がある。システムは、次に、3D気道が(変形モデルに基づいた)介入器具の操縦に反応してどのようにリアルタイムに変形するのかを表示できるだけではなく、ナビゲートされる気道に近接して局所的なCTスライスの対応する変形バージョンを表示することもできる。医師は、次に、誘導、生検、及び治療にとって貴重である、ナビゲートされる気道と、CTボリュームからの変形した未処理の解剖学的な特徴との両方を含むリアルタイム変形解剖学的データを表示される。
ここで、本開示のいくつかの実施形態による、肺の気道内での介入器具の移動を追跡するためのシステムを概略で示す図12を参照する。
図12のシステムのハードウェアコンポーネントは、メモリ1201と、プロセッサ1202と、任意選択でディスプレイ1203とを含む。任意選択で、1つまたは複数の一センサ1205を装備した介入器具1204が、任意選択で位置感知コントローラ1206とともに、システムと提供される。位置センサ1205は、例えば介入器具1204の先端に、及び/または介入器具1204の本体に沿った位置に配置され得る。
任意選択で、介入器具1204及び位置感知コントローラ1206を含むサブシステムのすべてまたは部分が別個に提供される。
図12のシステムの動作で使用及び/または生成される選択されたデータ構造は、メモリ1201内のブロックとして示される。
これらは、以下を含む。
・例えば、図1、図5、図7A~図7B、及び図8Aに関して、本明細書に説明される方法のいずれか1つまたは複数の動作を実行するようにプロセッサ1202に命令する命令1212。プロセッサ1202は、命令1212に従って他のデータ構造のいずれかを生成し得る、及び/またはいずれかにアクセスし得る。
・例えば、図1のブロック110及び/または図5のベースライン気道マップ503で生成されるモデルに対応する変形前モデル1210。
・例えば、図5のブロック504、及び/または図7Aの変換状態ベクトル710によって適用される位置合わせに対応する初期位置合わせ1214。
・例えば、図5の位置データ505に対応する介入器具位置測定値1218。
・例えば、図7Aの動的変換状態ベクトル712に対応する動的位置合わせ1216。
・例えば、図1、図5、図7A~図7B、及び図8Aに関して、本明細書に説明される方法のいずれか1つまたは複数の動作を実行するようにプロセッサ1202に命令する命令1212。プロセッサ1202は、命令1212に従って他のデータ構造のいずれかを生成し得る、及び/またはいずれかにアクセスし得る。
・例えば、図1のブロック110及び/または図5のベースライン気道マップ503で生成されるモデルに対応する変形前モデル1210。
・例えば、図5のブロック504、及び/または図7Aの変換状態ベクトル710によって適用される位置合わせに対応する初期位置合わせ1214。
・例えば、図5の位置データ505に対応する介入器具位置測定値1218。
・例えば、図7Aの動的変換状態ベクトル712に対応する動的位置合わせ1216。
命令1212は、変形前モデル1210の修正された(例えば、初期に及び/または動的に位置合わせされた)バージョンを表す1つまたは複数のビュー1220を生成し、それらをディスプレイ1203に提供するようにプロセッサ1202に命令し得る。ブロック1220は、ディスプレイ1203にストリーミングされるデータとして提供されるビューを示す。これらのビューを表すデータ構造、及び/または中間データ構造を表すデータ構造はまた、プロセッサ1202によって生成され、メモリ1201(明示的に図示せず)に格納され得る。ビュー1220は、例えば図8A~図11に関して説明されるように生成され得る。
概要
数量または値に関して本明細書で使用される場合、用語「約」は、以下の「±10%以内」を意味する。
数量または値に関して本明細書で使用される場合、用語「約」は、以下の「±10%以内」を意味する。
「備える(comprises)」、「備える(comprising)」、「含む(includes)」、「含む(including)」、「有する(having)」という用語及びそれらの同根語は、「限定ではないが、~を含む(including but not limited to)」を意味する。
用語「~から成る(consisting of)」は、「含み、~に限定される(including and limited to)」を意味する。
「本質的に~からなる(consisting essentially of)」という用語は、組成物、方法または構造物が、追加の成分、ステップ及び/または部品を含むことができることを意味するが、追加の成分、ステップ及び/または部品が、特許請求された組成物、方法または構造物の基本的かつ新規な特性を実質的に変えない場合に限る。
本明細書で使用する場合、文脈上明らかに別段に示されている場合を除き、単数形「a」、「an」及び「the」は、複数の指示対象を含む。例えば、用語「化合物(a compound)」または「少なくとも1つの化合物(at least one compound)」は、それらの混合物を含む複数の化合物を含み得る。
言葉「例示的な(example)」及び「例示的な(exemplary)」は、本明細書では「例、実例、または説明として役立つ」ことを意味するために使用される。「例示的な」または「例示的な」として説明される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではなく、及び/または他の実施形態からの特徴の組み込みを排除するものではない。
本明細書では、言葉「任意選択で」は、「ある実施形態では提供され、他の実施形態では提供されない」ことを意味するために使用される。本開示の任意の特定の実施形態は、そのような特徴が矛盾する限りにおいてを除き、複数の「任意選択」の特徴を含むことができる。
本明細書で使用される用語「方法」は、化学、薬理学、生物学、生化学及び医学の技術の実践者によって知られている、または既知のマナー、手段、技術及び手順から容易に開発される方法を含むが、これらに限定されない、所定のタスクを達成するためのマナー、手段、技術及び手順を指す。
本明細書で使用される場合、「治療する」という用語は、状態の進行を無効にする、実質的に阻害する、遅らせる、または逆転させる、状態の臨床的または審美的症状を実質的に改善する、または状態の臨床的または審美的症状の出現を実質的に防止することを含む。
本出願を通して、実施形態は、範囲形式を参照して提示され得る。範囲形式での説明は、単に便宜上及び簡潔にするためのものであり、本開示の説明の範囲に対する柔軟性のない制限として解釈されるべきではないことを理解されたい。したがって、範囲の説明は、その範囲内の個々の数値だけでなく、可能性のあるすべてのサブ範囲を具体的に開示したものと見なされるべきである。例えば、「1~6」といった範囲の記述は、「1~3」、「1~4」、「1~5」、「2~4」、「2~6」、「3~6」などといったサブ範囲と、その範囲内の個々の数値、例えば、1、2、3、4、5、及び6とが具体的に開示されていると見なされるべきである。これは、範囲の広さに関係なく適用される。
本明細書で数値の範囲が示されている場合(例えば、「10~15」、「10から15」、またはこれらの別のこのような範囲表示によって連結された数値の組)には、文脈から明らかに別の指示がない限り、範囲の限界を含む、示された範囲の限界内の任意の数値(分数または整数)を含むことを意味する。第1の表示番号と第2の表示番号との「間の範囲(range/ranging/ranges between)」という句、及び第1の表示番号「から」第2の表示番号「まで(to)」、「まで(up to)」、「まで(until)」または「まで(through)」の「範囲(range/ranging/ranges from)」という句は、本明細書では互換的に使用され、第1の表示番号及び第2の表示番号と、それらの間の分数及び整数の数字の全てを含むことを意味する。
本開示の説明は特定の実施形態に関連して提供されているが、多くの代替案、修正及び変形が当業者には明らかであろうことは明白である。したがって、添付の特許請求の範囲の趣旨及び広い範囲に含まれるそのようなすべての代替案、修正及び変形を包含することが意図されている。
明確にするために別個の実施形態の文脈において本開示に説明されるある特徴を、単一の実施形態において組み合わせで設けることもできることが理解される。逆に、簡潔にするために単一の実施形態の文脈において説明される様々な特徴を、別々に、または任意の好適なサブコンビネーションで、または本開示の任意の他の説明された実施形態において好適なものとして設けることもできる。様々な実施形態の文脈で説明される特定の特徴は、実施形態がそれらの要素なしでは機能しない場合を除いて、それらの実施形態の本質的な特徴と見なすべきではない。
本明細書に記述される全ての刊行物、特許、及び特許出願は、各個別の刊行物、特許、または特許出願が、参照により本明細書に組み込まれることが示されているときに、これが明確かつ個別に注記されているかのように、参照によりその全体が本明細書に組み込まれることが出願人(出願人ら)の意図である。さらに、本願におけるいずれかの参考文献の引用または特定は、そのような参考文献が本発明の先行技術として利用可能であるということの承認として解釈するべきではない。セクションの見出しが使用されている場合、それらは必ずしも限定的であると解釈されるべきではない。さらに、本願のいずれかの優先権書類(複数可)は、本明細書により、その全体が参照により本明細書に組み込まれる。
Claims (50)
- 肺の気道に対する介入器具の位置決めを追跡する方法であって、
前記肺の気道のスケルトン化モデルにアクセスすることであって、前記モデルが分岐点で接続された複数の気道セグメントを備える、前記アクセスすることと、
前記スケルトン化モデルの形状に対する変更を制限する解剖学的に定義された制約にアクセスすることと、
前記介入器具に沿った、前記肺内の複数の位置を示す測定値にアクセスすることと、
前記分岐点の1つまたは複数で気道セグメントの相対角度及び位置を前記モデル内で修正することであって、前記修正が、
前記複数の位置によって示される前記肺の形状と、前記複数の位置に対応する前記気道セグメントの配置との間のモデル化された誤差を低減することと、
前記解剖学的に基づいた制約を使用して、前記気道の形状が前記モデル化された誤差を低減するためにどのように変化する可能性があるのかを制限することと
によって計算される、前記修正することと
を含む、前記方法。 - 前記修正することが、共通分岐点で接合された気道セグメントの相対角度を修正することを含み、前記共通分岐点が、前記複数の位置の間に延びる前記介入器具によって横断されない、請求項1に記載の方法。
- 前記解剖学的に基づいた制約が、共通分岐点での気道の、その相対角度の変化の増加に対する抵抗を含む、請求項1または2に記載の方法。
- 前記解剖学的に基づいた制約が、前記気道セグメントの少なくとも一部の遠位側から加えられる固定力を含む、請求項1~3のいずれか1項に記載の方法。
- 前記解剖学的に基づいた制約が、前記気道セグメントの少なくとも一部の長さに沿って曲がることに対する制限を含む、請求項1~4のいずれか1項に記載の方法。
- 前記解剖学的に基づいた制約が、肺実質を通って互いに結び付けられた気道セグメントの別々の移動に対する制限を含む、請求項1~4のいずれかに記載の方法。
- 前記解剖学的に基づいた制約が、複数の大域的な形状を含むデータセットによって表される大域的な形状の範囲と一致しない大域的な形状を形成する前記気道セグメントに対する制限を含む、請求項1~5のいずれか1項に記載の方法。
- 前記解剖学的に基づいた制約が、複数の分岐形状を含むデータセットによって表される分岐形状の範囲と一致しない分岐形状を形成する前記複数の位置に沿った肺部分を表す気道セグメントに対する制限を含む、請求項1~7のいずれか1つに記載の方法。
- 前記肺のCT画像のセグメンテーションに基づいて、前記スケルトン化モデルを構築することを含む、請求項1に記載の方法。
- 前記構築することが、前記CT画像の前記セグメンテーションをスケルトン化することと、前記スケルトン化において分岐点を識別することと、前記分岐点の相対角度を表すパラメータ値を前記分岐点に割り当てることとを含む、請求項9に記載の方法。
- 前記アクセスされた測定値が、異なるときに前記介入器具の異なる位置で前記介入器具を使用して複数の異なる気道トラックに沿って行われた測定値であり、
前記気道セグメントの相対角度が、前記肺の撮像されたジオメトリに適合するために前記分岐点に割り当てられ、
前記修正することが、前記肺の前記ジオメトリが撮像された時点と、前記複数の異なる気道トラックに沿った測定時との間の肺位置の変化に従って前記気道セグメントの前記相対角度を修正する、
請求項1~10のいずれか1項に記載の方法。 - 前記アクセスされた測定値が、その測定時間によって呼吸の位相に関連付けられ、前記修正することが、前記アクセスされた測定値の呼吸相の関連付けに基づいて、複数の異なる呼吸相中の前記肺の前記形状を表す前記肺の前記気道の位相変化するスケルトン化モデルを作成するために前記相対角度を修正する、請求項11に記載の方法。
- 前記測定値にアクセスすることと、呼吸の位相に関連付けられた新しい測定値のために前記修正することとを繰り返すことを含み、前記修正することが、前記新しい測定値の前記位置とその関連付けられた呼吸の位相の両方に従って、前記気道の前記位相変化するスケルトン化モデルを修正する、請求項12に記載の方法。
- 前記複数の異なる呼吸相中の前記肺の前記形状が、
前記位相に関連付けられた測定値から前記修正することによって計算された第1の呼吸相での肺の状態と、
前記位相に関連付けられた測定値から前記修正することによって計算された第2の呼吸相での肺の状態と、
前記第1の位相と前記第2の位相との間の前記肺形状の補間によって計算される少なくとも第3の呼吸相での肺と、によって表される、
請求項12または13に記載の方法。 - 前記複数の異なる位相中の前記肺の前記形状が、第4の呼吸相での前記肺によってさらに表される、請求項14に記載の方法。
- 前記第3及び前記第4の呼吸相が、ともに、前記第1の呼吸相と前記第2の呼吸相との間で等しく間隔を空けられ、互いに異なる、請求項15に記載の方法。
- 前記モデルの前記気道セグメントの前記配置を表す画像を表示することを含む、請求項1~16のいずれか1項に記載の方法。
- 前記肺モデルに関連付けられた前記画像中のオブジェクトを表示することを含み、オブジェクトの位置が、前記気道セグメントの前記配置の変化に従って更新される、請求項17に記載の方法。
- 前記オブジェクトの前記位置を前記気道セグメントの少なくとも1つの位置に関連付けることと、前記気道セグメントの前記関連付けられた少なくとも1つの移動に従って前記オブジェクトを移動させることとを含む、請求項18に記載の方法。
- 前記画像がまた、前記肺の前記気道の前記スケルトン化モデルとの既知の相応関係における前記肺の3D画像のスライスを表し、前記スライスが、前記介入器具が沿って延びる気道に対応する、前記表示された肺の一部分に沿って延びるように選択される、請求項17~19のいずれか1項に記載の方法。
- 前記肺の前記気道の前記スケルトン化モデルと、前記肺の前記3D画像の既知の相応関係が、前記気道の前記スケルトン化モデルを前記肺の前記3D画像のセグメンテーションから導出することによって確立される、請求項20に記載の方法。
- 前記表示された画像が前記肺の3D表現を含み、前記3D画像の前記スライスが前記介入器具の3D構成に従うために平面構成から湾曲される、請求項20または21に記載の方法。
- 前記表示された画像が、平面表現に平坦化された前記介入器具を表し、前記3D画像の前記スライスがそれとともに平坦化される、請求項20または21に記載の方法。
- 前記気道セグメントの前記相対角度が、第1の期間中に撮像された前記肺のジオメトリに適合するように前記分岐点に割り当てられ、第2の期間中に測定されたさらなる測定値に基づいて決定された前記肺の前記ジオメトリに対する変化によって修正され、
前記アクセスされた測定値が、前記介入器具に沿って、第3の期間中に、及び前記介入器具が同じ位置に留まっている間に行われた測定であり、
前記修正することが、前記第2の期間と前記第3の期間との間の肺の位置の変化に従って前記気道セグメントの前記相対速度を修正する、
請求項1~10のいずれか1項に記載の方法。 - 繰り返し
前記測定値の連続セットにアクセスすることと、
それぞれの測定値の連続セットに基づいて前記気道セグメントの前記相対角度を修正することと、
を含む、請求項1に記載の方法。 - 前記修正することが、
前記複数の位置によって示される前記肺の前記形状と、前記複数の位置に対応する前記気道セグメントの配置との間の誤差を低減する前記相対角度の新しい値を識別することと、
以前の値からの変化の大きさを減少させるために、前記相対角度の前記以前の値に基づいて前記新しい値をフィルタリングすることと、
前記新しい値を使用して、前記計算された修正を生じさせることと、
を含む、請求項25に記載の方法。 - 前記フィルタリングすることが、事前フィルタリングで識別された前記新しい値と比較して、前記複数の位置によって示された前記肺の前記形状と、前記複数の位置に対応する前記気道セグメントの配置との間の誤差を増加させる、請求項26に記載の方法。
- 前記修正することが、前記スケルトン化モデルの複数の異なるコピーで前記相対角度を異なるように修正することと、
前記測定値にアクセスすること、及び新しい測定値を使用して前記異なるコピーのそれぞれについて修正することを繰り返すことと、
前記肺形状のより妥当な表現に基づいて、前記異なるコピーの1つを選択することと、
前記測定値にアクセスすること、及び前記選択されたコピーだけを使用して修正することを繰り返し続けることと、
を含めることと
を含む、請求項1に記載の方法。 - 前記修正することが、前記修正内の気道セグメントの前記相対角度を摂動させて、摂動された修正を計算することと、前記摂動後の修正によって前記摂動前の修正よりも前記誤差が減少することを特定することと、前記摂動された修正を使用して、前記修正することを実行することとを含む、請求項1に記載の方法。
- 肺の変形可能モデルを格納するコンピュータメモリ記憶媒体であって、前記モデルが、
前記肺の気道の分岐構造のスケルトン化された表現と、
前記分岐構造の複数の分岐点のそれぞれについて、前記分岐構造の前記分岐の向きの表現と、
に対応するデータ要素と、
プロセッサに、前記分岐構造の前記分岐の相対向きの前記表現を修正することによって、提供された幾何学的制約を満たすために前記モデルを修正するように命令するように構成されたコンピュータ命令と
を備える、前記コンピュータメモリ記憶媒体。 - 前記コンピュータ命令が、前記プロセッサに、前記分岐構造のセグメントに沿って距離を修正することなく前記分岐構造の前記分岐の前記向きの前記表現を修正するように命令する、請求項30に記載のコンピュータメモリ記憶媒体。
- 前記コンピュータ命令が、前記プロセッサに、親分岐点での分岐の相対向きを修正する変更を、前記親分岐点の子分岐点の分岐の空間的オフセット及び向きを修正する変更に伝播するように命令する、請求項31に記載のコンピュータメモリ記憶媒体。
- 肺の気道内で介入器具の移動を追跡するためのシステムであって、プロセッサと、前記プロセッサに、
前記介入器具の現在の形状及び位置決めの3D表現にアクセスすることと、
気道セグメントの分岐点を含む、気道セグメントを表す気道のモデルにアクセスすることと、
前記気道セグメントを、前記介入器具の前記現在の形状及び位置決めに一致させることと
を命令する命令を保持するメモリと
を備え、
前記プロセッサが、
前記介入器具の現在の形状及び位置決めに対する前記気道セグメントの相応関係の改善に基づいて、前記分岐点の分岐の回転修正を決定することと、
前記モデルに前記修正を適用することと、
を命令される、前記システム。 - 前記回転修正が、前記介入器具が沿って延びる前記気道のセクションに対応するモデル化された気道セグメントに適用される、請求項33に記載のシステム。
- 前記プロセッサが、体の動きの測定値にアクセスするように命令され、前記プロセッサが、前記体の動きの測定値に対応する肺形状の変化に一致するように前記気道の前記モデルを修正するために、前記気道セグメントの向きを修正するように命令される、請求項33または34に記載のシステム。
- 前記修正が、前記分岐点に関連付けられた位置データを制御点として使用して前記モデルに適用される、請求項33~35のいずれか1項に記載のシステム。
- 異なる種類の回転修正が、前記体の動きの測定値に対応する肺形状の変化に対する前記気道モデルの一致を改善するために、及び/または前記介入器具の現在の形状及び位置決めに対する前記気道セグメントの相応関係を改善するためにその可用性において別々に重み付けされる、請求項35または36に記載されるシステム。
- 介入器具の位置データを撮像された肺形状に位置合わせする方法であって、
肺の前記撮像された肺形状に基づいて構築されたベースライン肺気道モデルを受信することと、
後に、1つまたは複数の肺内プローブを使用して、前記気道の同じ分岐点の少なくとも2つの異なる分岐を含む、前記肺の気道の複数の分岐に沿った位置を測定することと、
前記測定された位置と位置合わせし、変形ベースライン肺気道モデルを生成するように前記ベースライン肺気道モデルを修正することであって、前記変形ベースライン肺気道モデルが複数の呼吸相内の前記肺気道を表す、前記修正することと、
前記肺の現在の形状を示す測定値に基づいて、前記変形ベースライン肺気道モデルに適用可能な変換を決定して、前記肺の現在の形状を示すように前記変形肺気道モデルを調整することと、
前記変換に従って変換された、前記変形ベースライン気道モデルを示す画像を表示することと、
を含む、前記方法。 - 前記肺の前記気道の前記複数の分岐に沿った位置の前記測定値が、それぞれ呼吸相に関連付けられ、前記複数の呼吸相の異なる位相内の前記肺気道の前記表現が、前記測定値の異なる呼吸相との前記関連付けを使用して生成される、請求項38に記載の方法。
- 変換を前記決定することが、
前記肺の前記示されている現在の形状に対応する呼吸相を使用して、前記変形ベースライン肺気道モデルの呼吸相に依存する形状を決定することと、
前記変換を計算して、前記決定された呼吸相依存形状を前記肺の前記示されている現在の形状に変換することと
を含む、請求項38または39に記載の方法。 - 前記変形ベースライン肺気道モデルにおいて、前記複数の呼吸相中の前記肺の前記形状が、
前記ベースライン肺気道モデルを前記修正することによって生成される第1の呼吸相での前記肺の状態と、
前記ベースライン肺気道モデルを前記修正することによって生成される第2の呼吸相での前記肺の状態と
によって表される、請求項38~40のいずれか1項に記載の方法。 - 前記決定することが、前記変形ベースライン気道モデルから、前記第1の位相と前記第2の位相との間の前記肺形状の補間によって計算される、第3の呼吸相での前記肺のベースライン形状を生成することを含む、請求項41に記載の方法。
- 前記複数の呼吸相中の前記肺の前記形状が、前記ベースライン肺気道モデルを前記修正することによって生成される、第4の呼吸相での前記肺の状態をさらに含む、請求項41に記載の方法。
- 解剖学的構造を通って曲がりくねった経路に沿って特徴を表示する方法であって、
前記解剖学的構造の3D画像にアクセスすることと、
前記解剖学的構造を通る経路を画定することと、
前記経路に沿った位置の前記3D画像内の場所との空間的対応と、
前記3D画像内の前記場所を含む前記3D画像を通って延びる表面と、
を計算することと、
前記表面によって画定された前記解剖学的構造の前記3D画像の位置からのデータとともに、3D空間を通って延びる前記経路を示す3D表示画像を表示することと、
を含み、
前記経路が、前記解剖学的構造の形状の少なくとも1つの動的に変化するパラメータの測定値を使用して繰り返し画定され、
前記計算すること及び前記表示することが、前記経路が繰り返し画定されるたびに繰り返される、
前記方法。 - 前記表面が、前記経路の両側の前記通路に沿って延びるストリップとして計算される、請求項44に記載の方法。
- 前記ストリップが、前記経路の両側でほぼ等距離延びる、請求項45に記載の方法。
- 前記経路と既知の空間的対応にある前記解剖学的構造の一部分の3Dモデルにアクセスすることと、前記3D表示画像内に前記解剖学的構造の3Dモデルの表示を含むことを含み、前記解剖学的構造の前記一部分の前記3Dモデルも動的に変化する、請求項44~46のいずれか1項に記載の方法。
- 前記解剖学的構造が肺の気道を含む、請求項44~47のいずれか1項に記載の方法。
- 少なくとも1つの動的に変化するパラメータの前記測定値が、前記経路に沿って位置決めされた介入器具の位置測定値を含む、請求項44~48のいずれか1項に記載の方法。
- 前記少なくとも1つの動的に変化するパラメータの前記測定値が、その測定時間によって呼吸の位相に関連付けられる、請求項44~49のいずれか1項に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063123590P | 2020-12-10 | 2020-12-10 | |
US63/123,590 | 2020-12-10 | ||
US202163238165P | 2021-08-29 | 2021-08-29 | |
US63/238,165 | 2021-08-29 | ||
PCT/IL2021/051475 WO2022123577A1 (en) | 2020-12-10 | 2021-12-09 | Dynamic deformation tracking for navigational bronchoscopy |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023552577A true JP2023552577A (ja) | 2023-12-18 |
Family
ID=81974226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023534975A Pending JP2023552577A (ja) | 2020-12-10 | 2021-12-09 | ナビゲーション気管支鏡検査のための動的変形追跡 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240041535A1 (ja) |
EP (1) | EP4259026A1 (ja) |
JP (1) | JP2023552577A (ja) |
WO (1) | WO2022123577A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116999166B (zh) * | 2023-10-07 | 2024-01-12 | 杭州先奥科技有限公司 | 术中地图拓展方法、存储介质及电磁导航支气管镜*** |
CN117257459B (zh) * | 2023-11-22 | 2024-03-12 | 杭州先奥科技有限公司 | 一种抗呼吸干扰的电磁导航支气管镜术中地图拓展方法及*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005058137A2 (en) * | 2003-12-12 | 2005-06-30 | University Of Washington | Catheterscope 3d guidance and interface system |
CN104427952B (zh) * | 2012-05-14 | 2018-06-12 | 直观外科手术操作公司 | 用于使用形状感测的变形补偿的***和方法 |
KR20210156301A (ko) * | 2014-02-04 | 2021-12-24 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법 |
WO2018144698A1 (en) * | 2017-02-01 | 2018-08-09 | Intuitive Surgical Operations, Inc. | Systems and methods of registration for image-guided procedures |
US10575907B2 (en) * | 2017-06-21 | 2020-03-03 | Biosense Webster (Israel) Ltd. | Registration with trajectory information with shape sensing |
JP7371026B2 (ja) * | 2018-05-31 | 2023-10-30 | オーリス ヘルス インコーポレイテッド | 管状網の経路ベースのナビゲーション |
US11877806B2 (en) * | 2018-12-06 | 2024-01-23 | Covidien Lp | Deformable registration of computer-generated airway models to airway trees |
CN113614844A (zh) * | 2019-03-14 | 2021-11-05 | 皇家飞利浦有限公司 | 动态介入三维模型变形 |
-
2021
- 2021-12-09 WO PCT/IL2021/051475 patent/WO2022123577A1/en active Application Filing
- 2021-12-09 JP JP2023534975A patent/JP2023552577A/ja active Pending
- 2021-12-09 US US18/266,317 patent/US20240041535A1/en active Pending
- 2021-12-09 EP EP21902880.0A patent/EP4259026A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240041535A1 (en) | 2024-02-08 |
EP4259026A1 (en) | 2023-10-18 |
WO2022123577A1 (en) | 2022-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10898057B2 (en) | Apparatus and method for airway registration and navigation | |
US11164324B2 (en) | GPU-based system for performing 2D-3D deformable registration of a body organ using multiple 2D fluoroscopic views | |
US10643333B2 (en) | Apparatuses and methods for navigation in and Local segmentation extension of anatomical treelike structures | |
US8116847B2 (en) | System and method for determining an optimal surgical trajectory | |
CN105979899B (zh) | 用于设备感知柔性工具配准的***和方法 | |
US11017531B2 (en) | Shell-constrained localization of vasculature | |
CN110301883B (zh) | 用于导航管状网络的基于图像的向导 | |
JP2023552577A (ja) | ナビゲーション気管支鏡検査のための動的変形追跡 | |
CN111281533A (zh) | 计算机生成的气道模型到气道树的可变形配准 | |
Fried et al. | Landmark based bronchoscope localization for needle insertion under respiratory deformation | |
Kukuk | A model-based approach to intraoperative guidance of flexible endoscopy | |
CN116801828A (zh) | 导航支气管镜检查的动态变形跟踪 | |
Cornish et al. | Real-time method for bronchoscope motion measurement and tracking | |
Wan | The concept of evolutionary computing for robust surgical endoscope tracking and navigation | |
WO2024150235A1 (en) | Dynamic anatomy deformation tracking for in-vivo navigation | |
WO2013171356A1 (es) | Procedimiento de generación de un recorrido para una broncoscopia virtual | |
Deligianni | Visual augmentation for virtual environments in surgical training. |