CN107580716A - 2d/2.5d腹腔镜和内窥镜图像数据与3d立体图像数据配准的方法和*** - Google Patents
2d/2.5d腹腔镜和内窥镜图像数据与3d立体图像数据配准的方法和*** Download PDFInfo
- Publication number
- CN107580716A CN107580716A CN201580079793.3A CN201580079793A CN107580716A CN 107580716 A CN107580716 A CN 107580716A CN 201580079793 A CN201580079793 A CN 201580079793A CN 107580716 A CN107580716 A CN 107580716A
- Authority
- CN
- China
- Prior art keywords
- image
- arts
- art
- simulated projections
- target organ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 241001269238 Data Species 0.000 title claims abstract description 18
- 210000000056 organ Anatomy 0.000 claims abstract description 72
- 238000004088 simulation Methods 0.000 claims description 23
- 238000011524 similarity measure Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 210000001015 abdomen Anatomy 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 210000004185 liver Anatomy 0.000 description 12
- 238000001356 surgical procedure Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 206010067125 Liver injury Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 210000005242 cardiac chamber Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Robotics (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种用于将2D/2.5D腹腔镜或内窥镜图像数据配准至3D立体图像数据的方法和***。接收目标器官的多个2D/2.5D术中图像以及用于术中图像的对应的相关方位测量值。通过计算位姿参数将该目标器官的3D医学图像体配准至多个2D/2.5D术中图像，从而将3D医学图像体的模拟投影图像匹配至多个2D/2.5D术中图像，并且配准受到术中图像的相关方位测量值的约束。
Description
背景技术
本发明涉及腹腔镜或内窥镜图像数据与3D立体图像数据的配准，并且更具体而言，涉及将术中2D/2.5D腹腔镜或内窥镜图像数据配准至术前3D立体图像数据，以将来自术前3D立体图像数据的信息覆盖在术中腹腔镜或内窥镜图像数据之上。
微创手术治疗期间，获取腹腔镜或内窥镜图像的序列来指导手术过程。可获取多个2D图像并且拼接起来以重建所观察器官的3D术中模型；然后，该重建的术中模型可以与术前或术中立体图像数据，如核磁共振(MR)、计算机断层扫描(CT)、或正电子发射断层成像(PET)等融合，从而为执行手术治疗的临床医生提供额外的指导。然而，由于参数空间较大并缺乏对配准问题的约束，配准颇具挑战性。用于执行此种配准的一种策略是将术间相机附着于外部光学或电磁跟踪***上，从而建立相机相对于患者的绝对位姿。这种基于***的方法确实有助于在术中图像流(视频)和立体图像数据之间建立初始配准，但却为临床工作流程带来了额外硬件组件的负担。
发明内容
本发明提供了一种用于术中图像(例如，腹腔镜或内窥镜图像)与术前体图像数据配准的方法和***。本发明实施例通过根据虚拟相机的视角和方向模拟3D立体中的虚拟投影图像来将3D立体配准至2D/2.5D术中图像，然后利用附着于术中相机上的方位传感器(例如，陀螺仪或加速度计)的术中图像相关的相关方位测量值来约束配准的同时，计算配准参数以将模拟投影图像匹配至真实的术中图像。进一步地，本发明实施例基于手术方案的在前信息来约束配准。
在本发明的一个实施例中，接收目标器官的多个2D/2.5D术中图像以及用于术中图像的对应的相关方位测量值；通过计算位姿参数将目标器官的3D医学图像体配准至多个2D/2.5D术中图像，从而将3D医学图像体的模拟投影图像匹配至多个2D/2.5D术中图像，其中，配准受到术中图像的相关方位测量值的约束。
通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域的普通技术人员来说将变得显而易见。
附图说明
图1示出了根据本发明实施例的用于将目标解剖对象的3D术前医学图像体配准至目标解剖对象的2D/2.5D术中图像的方法；
图2示出了将术前3D医学图像体中的模拟投影图像匹配至术中图像的实例；
图3示出了根据本发明实施例的、将目标解剖对象的3D术前医学图像体配准至目标解剖对象的术中图像的手术规划和配准的方法；
图4示出了根据由手术方案获得的在前知识确定的示例性约束；及
图5为能够实施本发明的计算机的高级框图。
具体实施方式
本发明涉及一种用于将术中图像(例如，腹腔镜或内窥镜图像)配准至3D立体医学图像的方法和***。在此所描述的本发明实施例在于从视觉上理解该配准方法。数字图像通常由一个或多个物体(或形状)的数字化表现组成。在此通常根据识别和操作物体来描述某一物体的数字化表现。这些操作均为在计算机***的存储器或其他电路/硬件内完成的虚拟操作。相应地，应当理解的是，本发明实施例可以在计算机***内使用计算机***存储的数据来执行。
可通过首先执行初始刚性对准，然后再进行更为精细的非刚性对准来实现3D医学图像数据与术中图像(例如，内窥镜或腹腔镜视频帧)的融合。本发明实施例利用附着于术中相机的加速计或陀螺仪的稀疏相关方位数据和手术规划信息，在3D立体医学图像数据和术中图像数据之间提供刚性配准，从而限制对配准参数的优化，使所观察到的术中图像数据和3D术前医学图像体实现最佳对准。本发明实施例还提供了优选手术规划流程，可将手术规划信息用于生物力学模型中，以在手术方案内预测组织的运动，从而向用户提供针对预测配准质量相关的反馈以及手术方案可做出哪些改变的指导，以改善配准。
本发明实施例执行3D术前医学图像体和2D术中图像(例如腹腔镜或内窥镜图像，具有相应的、与每个图像相关的2.5D深度信息)的共同配准。应当理解的是，术语“腹腔镜图像”和“内窥镜图像”在此可互换使用，并且术语“术中图像”指手术治疗或介入期间获取的任何医学图像数据，包括腹腔镜图像和内窥镜图像。
图1示出了根据本发明实施例的、用于将目标解剖对象的3D术前医学图像体配准至目标解剖对象的2D/2.5D术中图像的方法。图1的方法对表示了患者解剖结构的术中图像数据进行变换，以执行每一帧术中图像数据的语义分割并生成目标解剖对象的3D模型。在示例性实施例中，图1的方法可用于配准术前3D医学图像体，其中，肝脏已分割成肝脏的术中图像序列帧以指导肝脏的手术治疗如肝脏切除术，进而移除肝脏肿瘤或损伤。
参见图1，在步骤102中，接收术前3D医学图像体。在手术治疗之前获取该术前3D医学图像体。可使用***像模式如计算机断层扫描(CT)、核磁共振(MR)或正电子发射断层成像(PET)来获取3D医学图像体。可直接接收来自图像获取设备如CT扫描仪或MR扫描仪的术前3D医学图像体，或可通过从计算机***的存储器或存储装置中加载之前存储的3D医学图像体来获取术前3D医学图像体。在优选实施方式中，在术前规划阶段，可利用图像获取设备来获取术前3D医学图像体并将其存储在计算机***的存储器或存储装置中。然后，在手术治疗期间，可从存储器或存储***加载该术前3D医学图像体。
术前3D医学图像体包括目标解剖对象如目标器官。在优选实施方式中，该目标器官可以为肝脏。与术中图像如腹腔镜和内窥镜图像相比，术前体成像数据可以提供目标解剖对象更详细的视图。在术前3D医学图像体中，可分割目标解剖对象和其他解剖对象。表面目标(例如，肝脏)、关键结构(例如，肝脏门静脉、肝脏脏***、胆道及其他目标(例如，原发及转移肿瘤)可根据术前成像数据利用任意分割算法进行分割。比如，该分割算法可为基于机器学习的分割算法。在一个实施例中，可采用基于边缘空间学习(MSL)的框架，如利用题为“在三维图像中分割心脏腔室的***和方法”的第7,916,919号美国专利中所描述的方法，上述专利通过引用将其全部内容结合于本文中。在另外一个实施例中，可以使用半自动分割技术，例如图像分割或随机游走分割。
在步骤104中，接收术中图像序列以及对应的相关方位测量值。术中图像序列也可以是一个视频，每个术中图像即为该视频的一帧。例如，术中图像序列可以为通过腹腔镜获取的腹腔镜图像序列或通过内窥镜获取的内窥镜图像序列。根据优选实施例，术中图像序列的每一帧都是2D/2.5D图像。即术中图像序列的每一帧包括分别为每个像素提供典型2D图像外观信息的2D图像通道和在2D图像通道中提供与每个像素相对应的深度信息的2.5D深度通道。例如，术中图像序列的每一帧都可包括RGB-D(红色、绿色、蓝色+深度)图像数据。该图像数据包括RGB图像，其中每一像素分别具有一RGB值；以及深度图像(深度图)，其中，每一像素值对应于图像获取设备(例如，腹腔镜或内窥镜)的像机中心到参考像素的深度或距离。用于获取术中图像的术中图像获取设备(例如，腹腔镜或内窥镜)可配置相机或摄像机来获取每一时间帧的RGB图像，也可配置飞行时间或结构光传感器来获取每一时间帧的深度信息。该术中图像获取设备也可配置方位传感器诸如加速计或陀螺仪，其提供了每帧的相关方位测量值。可直接从图像获取设备接收术中图像序列的帧。例如，在优选实施例中，当通过图像获取设备获取术中图像序列帧时，可实时予以接收。或者，可通过加载计算机***存储器或存储装置上存储的之前获取的术中图像来接收该术中图像序列帧。
根据本发明实施例，可以通过用户(例如，医生、临床医生等)利用图像获取设备(例如，腹腔镜或内窥镜)执行目标器官的全面扫描来获取术中图像序列。在这种情况下，当图像获取设备不断获取图像(帧)的同时，用户移动该图像获取设备，从而使术中图像序列的帧覆盖目标器官的整个表面。这可以在手术治疗开始时执行，以获取当前变形下目标器官的全貌。可执行3D拼接过程，将术中图像拼接在一起，以形成目标器官例如肝脏的术中3D模型。
在步骤106中，利用术中图像的相关方位测量值将术前3D医学图像体配准至2D/2.5D术中图像，以约束配准。根据本发明实施例，通过利用定义虚拟相机(例如，虚拟内窥镜/腹腔镜)位置和方向的参数空间来模拟术前3D立体中的相机投影以执行该配准。术前3D立体中投影图像的模拟可包括真实感渲染。位置和方位参数决定了3D医学图像体中2D/2.5D投影图像的外形和几何结构，进而通过相似性度量值直接与所观察到的2D/2.5D术中图像进行比较。
使用优化框架来选择用于虚拟相机的位姿参数，从而将模拟投影图像和所接收的术中图像之间的相似性最大化(或将差异性最小化)。即，采用优化问题计算位置和方位参数，将所有术中图像上的术前3D立体的每个2D/2.5D投影图像和对应的模拟2D/2.5D投影图像之间的总体相似性予以最大化(或最小化总体差异性)。根据本发明实施例，在术中图像和对应模拟投影图像中计算用于目标器官的相似性度量值。可以利用任意相似性或差异性度量值来执行该优化问题并且可利用优化算法来解决。例如，相似性度量值可以为互相关、交互信息、归一化互信息等，并且相似性度量值可以与几何拟合项组合，用于在目标器官几何结构基础之上将模拟2.5D深度数据拟合至所观察到的2.5D深度数据。如上所述，由安装至术中图像获取设备(例如，内窥镜/腹腔镜)的方位传感器提供术中图像相对于彼此的相关方位。这些相关方位用以约束该优化问题。尤其是，术中图像的相关方位约束了用于对应的所模拟投影图像而计算的方位参数集。此外，由于是2.5D度量值传感，因此，缩放比例为已知，从而在单位球面上进行位姿优化。进一步地，可基于术中图像获取中使用的已知手术方案的其他在前信息对优化进行约束，比如手术台的位置、手术台上患者的位置以及可能的相机方位的范围。
图2示出了将术前3D医学图像体中的模拟投影图像匹配至术中图像的实例。如图2所示，图像202表示产生于术前3D医学图像体内肝脏的多个模拟2D投影，其中，肝脏已分割；并且，图像204示出了腹腔镜图像内观察到的肝脏的2D投影。配准过程找到使目标器官的模拟投影最佳地匹配至每个所观察到的目标器官投影的位置和方位参数。
回到图1，在步骤108中，在手术治疗期间将术前3D医学图像体覆盖在术中图像之上。配准的结果就是一变换矩阵，该变换矩阵可应用于术前3D医学图像体，将术前3D医学图像体的投影映射至给定的术中图像。这使得术前3D医学图像体中的次表面信息以增强现实的方式覆盖在术中图像获取设备(例如，内窥镜或腹腔镜)的可视化信息之上。在优选实施例中，一旦执行配准，就会收到新的、术中图像序列的帧(视频)，并且，基于该配准将术前3D医学图像体中目标器官的投影覆盖在每一个新的帧上。在显示设备上显示包括术前3D医学图像体覆盖信息在内的每一帧，以指导手术治疗。当获取术中图像时，可实时执行覆盖，并且，可在显示设备上将所覆盖的图像显示为视频流。由于在此所描述的配准为刚性配准，因此，在一些实施方式中，可使用目标器官的生物力学模型来计算每一帧目标器官的非刚性变形。利用生物力学模型来计算非刚性变形将在2015年4月29日提交的题目为“通过解剖模型增强用于指导腹腔镜外科手术的***和方法”的国际专利申请PCT/US2015/28120号中作进一步的详细描述，该专利全部内容通过引用结合在本申请中。
图3示出了根据本发明实施例的、用于将目标解剖对象的3D术前医学图像体配准至目标解剖对象的术中图像的手术规划和配准的方法。图3的方法利用了可在计算机上实现的手术规划模块，例如手术室内的工作站。在步骤302，接收手术方案。利用手术规划模块，用户可指定与期望的术中相机视图对应的目标器官区域。例如，可在计算机显示器上示出目标器官的3D面显示，并为用户提供装置以通过用户输入设备(例如，鼠标和触摸屏)调节视角和选择所关注的结构特征。在术前3D医学图像体内，可根据目标器官的分割自动生成目标器官的3D面显示。此外，也可指明患者表面的预计腹腔镜入口端位置。在手术方案中，还可收集和记录其他相关术中位姿参数，如手术台上患者的位置。
在步骤304中，利用分割了的器官的生物力学模型模拟目标器官的变形。尤其是，可根据术前3D医学图像体中所分割的目标器官生成目标器官的3D网格，并且可采用生物力学模型使3D网格发生变形，以在手术方案给定的条件下模拟目标器官预期的组织运动。在手术方案条件下，基于器官组织的机械性能以及施加在目标器官上的力，采用生物力学模型计算3D网格各个点的位移。例如，这种力可能是由于手术治疗期间腹部的充气所产生的力。在一种可能的实施方式中，生物力学模型将目标器官建模成齐次线性弹性固体，其运动受弹性动力学方程所影响。该生物力学模型可以如2015年4月29日题目为“用于通过解剖模型增强来指导腹腔镜外科手术的***和方法”的国际专利申请PCT/US2015/28120号和题目为“术前图像的生物力学驱动配准到腹腔镜手术的术中3D图像”的国际公开文献WO 2014/127321 A2号所描述来实施，上述专利其全部内容通过引用结合在本申请中。
在步骤306中，利用模拟变形目标器官为手术方案生成模拟术中图像。基于手术方案条件如指定进行查看的器官部分、术中相机可能的方向范围以及腹腔镜进入点的位置，通过提取模拟变形目标器官的多个虚拟投影图像来生成模拟术中图像。在步骤308中，执行术前3D医学图像体至模拟术中图像的刚性配准。尤其是，可执行上述图1的方法，将术前3D医学图像配准至模拟术中图像，从而利用当前手术方案获取的术中图像来预测配准结果。
在步骤310中，计算预测的配准质量测量值。在一种可能的实施方式中，表面误差用来预测配准。尤其是，可以计算术前3D立体的模拟投影图像和从模拟变形目标器官中提取的模拟术中图像之间的总体表面误差。此外，在术中相机的视野内，也可计算用于当前手术方案的测量器官结构特征的范围和质量的其他度量值。在步骤312中，判断预测的配准质量是否充分。若判断预测的配准质量不令人满意，则执行步骤314；若判断预测的配准质量令人满意，则执行步骤316。在一种可能的实施方式中，可自动判断预测的配准质量是否充分，例如通过将预测配准质量测量值(例如，表面误差)与阈值进行比较。在另外一种可能的实施方式中，手术规划模块可向用户显示结果，并且用户可判定预测的配准质量是否充分。例如，可在显示设备上显示预测的配准质量测量值或多个预测的配准质量测量值以及生物力学仿真生成的变形的目标器官。除了向用户显示生物力学仿真结果以及对应的配准结果来指导规划过程外，手术规划模块也可以提供手术方案参数相关的建议，诸如安排端口和患者方位，以提高配准结果。
在步骤314中，若判断预测的配准质量不令人满意，则优化手术方案。例如，可通过自动调节参数，如安排端口和患者方位来优化手术方案，以提高配准结果，或者可通过用户经手术规划模块的用户输入来手动改变手术方案参数以优化手术方案。用户可通过手术规划模块手动改变手术方案参数，从而合并向用户提供的建议修改。然后，返回步骤304并且重复步骤304-312，以模拟器官的变形和预测用于优化手术方案的配准质量。
在步骤316中，当判断用于手术方案的预测配准质量充分时，利用手术方案进行有约束的刚性配准。如上所述，基于手术方案在前知识来进一步约束图1的配准方法。尤其是，一旦完成手术方案，就会利用手术方案来获取术中图像，图1的方法用于将术前3D医学图像体与所获取的术中图像以及手术方案参数进行配准，比如，手术台上患者位姿和用于腹腔镜图像的端口安排都将进一步约束配准。
图4示出了根据从手术方案获得的在前知识确定的示例性约束。如图4所示，根据手术方案获知手术台402的位置和患者404相对于手术台402的位姿。目标器官406的模拟变形以及模拟投影图像408(模拟术中图像)可提供角度限制以及与模拟投影图像408关于器官406和患者404的角度和深度的范围相关的深度限制410。
上述用于配准3D立体图像数据配准至术中图像以及用于手术规划以提高配准的方法可以在使用公知的计算机处理器、存储器单元、存储设备、计算机软件以及其他部件的计算机上实施。该计算机的高层次框图如图5所示。计算机502包含处理器504，该处理器通过执行定义该操作的计算机程序指令来控制计算机502的整体操作。计算机程序指令可以存储在存储设备512(例如，磁盘)中并且在期望执行计算机程序指令时加载到存储器510中。因此，用于执行图1和3的方法步骤可以由存储器510和/或存储部512中存储的计算机程序指令定义并且由执行计算机程序指令的处理器504控制。图像获取设备520，例如，腹腔镜、内窥镜、CT扫描仪、MR扫描仪、PET扫描仪等可连接至计算机502，以将图像数据输入计算机502中。图像获取设备520和计算机502还可以通过网络进行无线通信。计算机502还包括一个或多个网络接口506，用于经由网络与其他设备通信。计算机502还包括实现与计算机502的用户交互的其他输入/输出设备508(例如，显示器、键盘、鼠标、扬声器、按钮等)。该输入/输出设备508可结合计算机程序用作标注装置，来标注从图像获取设备520接收到的体。本领域技术人员将认识到，实际的计算机或计算机***的实现可以具有其他部件，并且图5是用于说明目的的该计算机的一些部件的高层次表示。
前面的详细描述将被理解为在每个方面是说明性的和示例性的，而非限制性的，并且这里公开的本发明的范围并非根据该详细描述确定，而是根据基于专利法规所允许的整体范围所解释的权利要求来确定。应当理解的是，这里示出和描述的实施例仅是本发明的原理的说明，并且本领域技术人员在不偏离本发明的范围和精神的情况下可以实现各种修改。本领域技术人员可以在不偏离本发明的范围和精神的情况下实现各种其他特征组合。
Claims (29)
1.一种用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像的方法，包括：
接收所述目标器官的多个2D/2.5D术中图像及用于所述术中图像的对应的相关方位测量值；以及
通过计算位姿参数，将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像，从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像，其中，所述配准受到所述术中图像的所述相关方位测量值的约束。
2.根据权利要求1所述的方法，其中，通过计算位姿参数将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像，从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像，其中，所述配准受到所述术中图像的所述相关方位测量值的约束，包括：
优化所述3D医学图像体的所述模拟投影图像的位姿参数，以将多个所述2D/2.5D术中图像的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化，其中，所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束。
3.根据权利要求2所述的方法，其中，从安装于术中图像获取设备的方位传感器接收所述相关方位测量值，该术中图像获取设备用于获取多个术中图像，并且所述相关方位测量值表示所述术中图像获取设备相对于该多个术中图像中的每个术中图像的相关方位，其中，所述3D医学图像体的所述模拟投影图像的位姿参数包括所述模拟投影图像中的每个模拟投影图像的虚拟相机位置和方位参数，并且其中，用于所述模拟投影图像的虚拟相机方位参数受到约束，使得用于所述模拟投影图像的虚拟相机的所述相关方位与该多个术中图像的所述相关方位匹配。
4.根据权利要求2所述的方法，其中，多个所述2D/2.5D术中图像中的每个2D/2.5D术中图像包括2D图像数据和对应的2.5D深度数据，所述3D医学图像体中的所述模拟投影图像中的每个模拟投影图像都为包括2D图像数据和对应的2.5D深度数据的2D/2.5D投影图像，并且，优化所述3D医学图像体的所述模拟投影图像的位姿参数，以将多个所述2D/2.5D术中图像中的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化，其中，所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束，包括：
优化所述3D医学图像体的所述模拟投影图像的位姿参数，以将代价函数最大化，该代价函数包括多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2D图像数据和对应的、所述模拟投影图像中的其中一个模拟投影图像之间的基于外观的相似性度量值以及多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2.5D深度数据和对应的、所述模拟投影图像的其中一个模拟投影图像之间的几何拟合度量值。
5.根据权利要求1所述的方法，其中，所述配准进一步基于已知手术方案的在前信息而受到约束，该已知手术方案用于获取多个所述2D/2.5D术中图像。
6.根据权利要求5所述的方法，其中，所述在前信息包括患者相对于手术台的位姿。
7.根据权利要求1所述的方法，其中，接收所述目标器官的多个2D/2.5D术中图像及用于术中图像的对应的相关方位测量值包括：
从术中图像获取设备接收多个所述2D/2.5D术中图像，其中，该术中图像获取设备为腹腔镜或内窥镜中的其中一个；以及
从安装至所述术中图像获取设备的方位传感器接收用于术中图像的所述对应的相关方位测量值，其中，所述方位传感器为陀螺仪或加速度计中的其中一个。
8.根据权利要求1所述的方法，还包括：
在接收多个所述2D/2.5D术中图像之前：
使用所述目标器官的生物力学模型基于手术方案模拟所述目标器官的变形；
使用所述目标器官的模拟的变形生成用于所述手术方案的模拟术中图像；
将所述目标器官的3D医学图像体配准至所述模拟术中图像；以及
基于所述目标器官的所述3D医学图像体配准至所述模拟术中图像，计算用于所述手术方案的预测的配准质量测量值。
9.根据权利要求8所述的方法，还包括：
在接收多个所述2D/2.5D术中图像之前，响应于基于所述预测的配准质量测量值确定所述手术方案的预测的配准质量不充分，改进所述手术方案的参数。
10.根据权利要求8所述的方法，其中，接收所述目标器官的多个2D/2.5D术中图像及用于术中图像的对应的相关方位测量值包括：
接收使用所述手术方案获取的所述目标器官的多个所述2D/2.5D术中图像，其中，基于所述手术方案的一个或多个参数进一步约束所述配准。
11.根据权利要求10所述的方法，其中，所述手术方案的所述一个或多个参数包括患者相对于手术台的位姿、腹腔镜入口端的位置或用于获取多个所述2D/2.5D术中图像的术中图像获取设备的角度范围中的至少一个。
12.一种用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像的装置，包括：
用于接收所述目标器官的多个所述2D/2.5D术中图像及用于术中图像的对应的相关方位测量值的装置；以及
用于通过计算位姿参数将所述目标器官的所述3D医学图像体配准至多个所述2D/2.5D术中图像，从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像的装置，其中，所述配准受到所述术中图像的所述相关方位测量值的约束。
13.根据权利要求12所述的装置，其中，所述用于通过计算位姿参数将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像，从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像的装置包括：
用于优化所述3D医学图像体的所述模拟投影图像的位姿参数，以将多个所述的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化的装置，其中所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束。
14.根据权利要求13所述的装置，其中，从安装于术中图像获取设备的方位传感器接收所述相关方位测量值，该术中图像获取设备用于获取所述多个术中图像，并且所述相关方位测量值表示所述术中图像获取设备相对于多个术中图像的每个术中图像的相关方位，其中，所述3D医学图像体的所述模拟投影图像的位姿参数包括所述模拟投影图像的每个模拟投影图像的虚拟相机位置和方位参数，并且其中，用于所述模拟投影图像的虚拟相机方位参数受约束，使得所述模拟投影图像的虚拟相机的所述相关方位与多个术中图像的所述相关方位匹配。
15.根据权利要求13所述的装置，其中，多个所述2D/2.5D术中图像的每个2D/2.5D术中图像包括2D图像数据和对应的2.5D深度数据，所述3D医学图像体的所述模拟投影图像的每个模拟投影图像都为包括2D图像数据和对应的2.5D深度数据的2D/2.5D投影图像，并且，用于优化所述3D医学图像体的所述模拟投影图像的位姿参数以将多个所述2D/2.5D术中图像的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化的装置包括：
用于优化所述3D医学图像体的所述模拟投影图像的位姿参数，以将代价函数最大化的装置，其中该代价函数包括多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2D图像数据和对应的、所述模拟投影图像的其中一个模拟投影图像之间的基于外观的相似性度量值以及多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2.5D深度数据和对应的、所述模拟投影图像的其中一个模拟投影图像之间的几何拟合度量值。
16.根据权利要求12所述的装置，其中，所述配准进一步基于已知手术方案的在前信息而受到约束，该已知手术方案用于获取多个所述2D/2.5D术中图像。
17.根据权利要求12所述的装置，还包括：
用于使用所述目标器官的生物力学模型基于手术方案模拟所述目标器官的变形的装置；
用于使用所述目标器官的模拟的变形生成用于所述手术方案的模拟术中图像的装置；
用于将所述目标器官的所述3D医学图像体配准至所述模拟术中图像的装置；以及
用于基于所述目标器官的所述3D医学图像体配准至所述模拟术中图像，计算用于所述手术方案的预测的配准质量测量值的装置。
18.根据权利要求17所述的装置，其中，使用所述手术方案获取所述目标器官的多个所述2D/2.5D术中图像，并且基于所述手术方案的一个或多个参数进一步约束所述配准。
19.根据权利要求18所述的装置，其中，所述手术方案的所述一个或多个参数包括患者相对于手术台的位姿、腹腔镜入口端的位置或用于获取多个所述2D/2.5D术中图像的术中图像获取设备的角度范围中的至少一个。
20.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储有计算机程序指令，用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像，当所述计算机程序指令在处理器上执行时，使所述处理器执行以下操作，包括：
接收所述目标器官的多个2D/2.5D术中图像及用于术中图像的对应的相关方位测量值；以及
通过计算位姿参数将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像，从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像，其中所述配准受到术中图像的相关方位测量值的约束。
21.根据权利要求20所述的非暂时性计算机可读介质，其中，通过计算位姿参数将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像，从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像，其中所述配准受到术中图像的相关方位测量值的约束，包括：
优化所述3D医学图像体的所述模拟投影图像的位姿参数，以将多个所述2D/2.5D术中图像的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化，其中所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束。
22.根据权利要求21所述的非暂时性计算机可读介质，其中，从安装于术中图像获取设备的方位传感器接收所述相关方位测量值，该术中图像获取设备用于获取多个术中图像，并且所述相关方位测量值表示所述术中图像获取设备相对于该多个术中图像中的每个术中图像的相关方位，其中，所述3D医学图像体的所述模拟投影图像的位姿参数包括用于所述模拟投影图像的每个模拟投影图像的虚拟相机位置和方位参数，并且其中，用于所述模拟投影图像的虚拟相机方位参数受到约束，使得所述模拟投影图像的虚拟相机的所述相关方位与该多个术中图像的所述相关方位匹配。
23.根据权利要求21所述的非暂时性计算机可读介质，其中，多个所述2D/2.5D术中图像的每个2D/2.5D术中图像包括2D图像数据和对应的2.5D深度数据，所述3D医学图像体的所述模拟投影图像的每个模拟投影图像都为包括2D图像数据和对应的2.5D深度数据的2D/2.5D投影图像，并且，优化所述3D医学图像体的所述模拟投影图像的位姿参数以将多个所述2D/2.5D术中图像的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化，其中，所述3D医学图像体的所述模拟投影图像的所述位姿参数受到术中图像的所述相关方位测量值的约束，包括：
优化所述3D医学图像体的所述模拟投影图像的位姿参数，以将代价函数最大化，该代价函数包括多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2D图像数据和对应的所述模拟投影图像的其中一个模拟投影图像之间的基于外观的相似性度量值以及多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2.5D深度数据和对应的、所述模拟投影图像的其中一个模拟投影图像之间的几何拟合度量值。
24.根据权利要求20所述的非暂时性计算机可读介质，其中，所述配准进一步基于已知手术方案的在前信息而受到约束，该已知手术方案用于获取多个所述2D/2.5D术中图像。
25.根据权利要求20所述的非暂时性计算机可读介质，其中，接收所述目标器官的多个所述2D/2.5D术中图像及用于术中图像的对应的相关方位测量值包括：
从所述术中图像获取设备接收多个所述2D/2.5D术中图像，其中，该术中图像获取设备为腹腔镜或内窥镜中的其中一个；以及
从安装至所述术中图像获取设备的方位传感器接收用于术中图像的所述对应的相关方位测量值，其中，所述方位传感器为陀螺仪或加速度计中的其中一个。
26.根据权利要求20所述的非暂时性计算机可读介质，其中，所述操作还包括：
在接收多个所述2D/2.5D术中图像之前：
使用所述目标器官的生物力学模型基于手术方案模拟所述目标器官的变形；
利用所述目标器官的模拟的变形生成用于所述手术方案的模拟术中图像；
将所述目标器官的所述3D医学图像体配准至所述模拟术中图像；以及
基于所述目标器官的所述3D医学图像体配准至所述模拟术中图像，计算用于所述手术方案的预测的配准质量测量值。
27.根据权利要求26所述的非暂时性计算机可读介质，其中，所述操作还包括：
在接收多个所述2D/2.5D术中图像之前，响应于所述手术方案的预测的配准质量不充分的决定，基于所述预测的配准质量测量值，提炼所述手术方案的参数。
28.根据权利要求26所述的非暂时性计算机可读介质，其中，接收所述目标器官的多个所述2D/2.5D术中图像及用于术中图像的对应的相关方位测量值，包括：
接收使用所述手术方案获取的所述目标器官的多个所述2D/2.5D术中图像，其中，基于所述手术方案的一个或多个参数进一步约束所述配准。
29.根据权利要求28所述的非暂时性计算机可读介质，其中，所述手术方案的所述一个或多个参数包括患者相对于手术台的位姿、腹腔镜入口端的位置或用于获取多个所述2D/2.5D术中图像的术中图像获取设备的角度范围中的至少一个。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2015/030080 WO2016182550A1 (en) | 2015-05-11 | 2015-05-11 | Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107580716A true CN107580716A (zh) | 2018-01-12 |
Family
ID=53373544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580079793.3A Pending CN107580716A (zh) | 2015-05-11 | 2015-05-11 | 2d/2.5d腹腔镜和内窥镜图像数据与3d立体图像数据配准的方法和*** |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20180150929A1 (zh) |
| EP (1) | EP3295423A1 (zh) |
| JP (1) | JP2018514340A (zh) |
| CN (1) | CN107580716A (zh) |
| WO (1) | WO2016182550A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110916702A (zh) * | 2018-09-19 | 2020-03-27 | 西门子医疗有限公司 | 支持用户的方法、计算机程序产品、数据载体和成像*** |
| CN111281534A (zh) * | 2018-12-10 | 2020-06-16 | 柯惠有限合伙公司 | 生成手术部位的三维模型的***和方法 |
| CN113057734A (zh) * | 2021-03-12 | 2021-07-02 | 上海微创医疗机器人（集团）股份有限公司 | 一种手术*** |
| WO2021137115A1 (en) * | 2019-12-31 | 2021-07-08 | Sonoscape Medical Corp. | Method and apparatus for registering live medical image with anatomical model |
| FR3139651A1 (fr) * | 2022-09-13 | 2024-03-15 | Surgar | Système et procédé de recalage d’un modèle 3d virtuel par affichage en semi-transparence |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7446059B2 (ja) * | 2016-02-17 | 2024-03-08 | コーニンクレッカ フィリップス エヌ ヴェ | 物理的な３ｄ解剖学的構造モデルの製造 |
| KR20210049086A (ko) | 2018-06-29 | 2021-05-04 | 델타레이 비브이 | 투영각의 동적 선택에 의한 물품 검사 |
| ES2964215T3 (es) | 2018-06-29 | 2024-04-04 | Univ Antwerpen | Inspección de artículos mediante obtención de imágenes por radiación usando un enfoque de coincidencia de proyecciones iterativo |
| SG11202101983SA (en) * | 2018-08-29 | 2021-03-30 | Agency Science Tech & Res | Lesion localization in an organ |
| CN112584738B (zh) * | 2018-08-30 | 2024-04-23 | 奥林巴斯株式会社 | 记录装置、图像观察装置、观察***、观察***的控制方法及存储介质 |
| US11995854B2 (en) * | 2018-12-19 | 2024-05-28 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
| IT201900005350A1 (it) * | 2019-04-08 | 2020-10-08 | Medacta Int Sa | Metodo ottenuto mediante calcolatore per verificare il corretto allineamento di una protesi dell’anca e sistema per attuare tale verifica |
| CN110853082B (zh) * | 2019-10-21 | 2023-12-01 | 科大讯飞股份有限公司 | 医学图像配准方法、装置、电子设备及计算机存储介质 |
| US20210174523A1 (en) * | 2019-12-10 | 2021-06-10 | Siemens Healthcare Gmbh | Method for registration of image data and for provision of corresponding trained facilities, apparatus for doing so and corresponding computer program product |
| US11227406B2 (en) * | 2020-02-28 | 2022-01-18 | Fujifilm Business Innovation Corp. | Fusing deep learning and geometric constraint for image-based localization |
| JP2021153773A (ja) * | 2020-03-26 | 2021-10-07 | 株式会社メディカロイド | ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム |
| CN113643226B (zh) * | 2020-04-27 | 2024-01-19 | 成都术通科技有限公司 | 标注方法、装置、设备及介质 |
| WO2022192222A1 (en) * | 2021-03-08 | 2022-09-15 | Agada Medical Ltd. | Planning spinal surgery using patient-specific biomechanical parameters |
| WO2023086332A1 (en) * | 2021-11-09 | 2023-05-19 | Genesis Medtech (USA) Inc. | An interactive augmented reality system for laparoscopic and video assisted surgeries |
| KR20240022745A (ko) * | 2022-08-12 | 2024-02-20 | 주식회사 데카사이트 | 수술 영상데이터를 녹화하는 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102428496A (zh) * | 2009-05-18 | 2012-04-25 | 皇家飞利浦电子股份有限公司 | 用于em跟踪内窥镜***的无标记物跟踪的配准和校准 |
| US20140193053A1 (en) * | 2011-03-03 | 2014-07-10 | Koninklijke Philips N.V. | System and method for automated initialization and registration of navigation system |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07200516A (ja) * | 1993-12-29 | 1995-08-04 | Toshiba Corp | 最適化方法及び最適化装置 |
| JP4875416B2 (ja) * | 2006-06-27 | 2012-02-15 | オリンパスメディカルシステムズ株式会社 | 医用ガイドシステム |
| US7916919B2 (en) | 2006-09-28 | 2011-03-29 | Siemens Medical Solutions Usa, Inc. | System and method for segmenting chambers of a heart in a three dimensional image |
| JP5372407B2 (ja) * | 2008-05-23 | 2013-12-18 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
| JP5504028B2 (ja) * | 2010-03-29 | 2014-05-28 | 富士フイルム株式会社 | 観察支援システムおよび方法並びにプログラム |
| WO2014127321A2 (en) | 2013-02-15 | 2014-08-21 | Siemens Aktiengesellschaft | Biomechanically driven registration of pre-operative image to intra-operative 3d images for laparoscopic surgery |
| JP6145870B2 (ja) * | 2013-05-24 | 2017-06-14 | 富士フイルム株式会社 | 画像表示装置および方法、並びにプログラム |
-
2015
- 2015-05-11 JP JP2017559106A patent/JP2018514340A/ja active Pending
- 2015-05-11 CN CN201580079793.3A patent/CN107580716A/zh active Pending
- 2015-05-11 EP EP15728234.4A patent/EP3295423A1/en not_active Withdrawn
- 2015-05-11 US US15/570,393 patent/US20180150929A1/en not_active Abandoned
- 2015-05-11 WO PCT/US2015/030080 patent/WO2016182550A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102428496A (zh) * | 2009-05-18 | 2012-04-25 | 皇家飞利浦电子股份有限公司 | 用于em跟踪内窥镜***的无标记物跟踪的配准和校准 |
| US20140193053A1 (en) * | 2011-03-03 | 2014-07-10 | Koninklijke Philips N.V. | System and method for automated initialization and registration of navigation system |
Non-Patent Citations (6)
| Title |
|---|
| ANTOINE LEROY等: "Intensity-based registration of freehand 3D ultrasound", 《SPRIGNER》 * |
| ATUL KUMAR 等: "Stereoscopic visualization of laparoscope image using depth information from 3D model", 《COMPUTER METHODS AND PROGRAMS IN BLOMEDICINE》 * |
| IVAN FIGUEROA-GARCIA等: "BIOMECHANICAL KIDNEY MODEL FOR PREDICTING TUMOR DISPLACEMENT IN THE PRESENCE OF EXTERNAL PRESSURE LOAD", 《IEEE》 * |
| MICHAEL SCHEUERING等: "Intraoperative Augmented Reality for Minimally Invasive Liver Interventions", 《PROC.OF SPIE MEDICAL IMAGING》 * |
| MIROTA, DANIEL J等: "High-accuracy 3D image-based registration of endoscopic video to C-arm cone-beam CT for imageguided skull base surgery", 《MEDICAL IMAGING 2011》 * |
| RAU´L SAN JOSE´ ESTE´PAR等: "Towards scarless surgery: An endoscopic ultrasound navigation system for transgastric access procedures", 《COMPUTER AIDED SURGERY》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110916702A (zh) * | 2018-09-19 | 2020-03-27 | 西门子医疗有限公司 | 支持用户的方法、计算机程序产品、数据载体和成像*** |
| CN110916702B (zh) * | 2018-09-19 | 2022-09-02 | 西门子医疗有限公司 | 支持用户的方法、数据载体和成像*** |
| CN111281534A (zh) * | 2018-12-10 | 2020-06-16 | 柯惠有限合伙公司 | 生成手术部位的三维模型的***和方法 |
| WO2021137115A1 (en) * | 2019-12-31 | 2021-07-08 | Sonoscape Medical Corp. | Method and apparatus for registering live medical image with anatomical model |
| CN113057734A (zh) * | 2021-03-12 | 2021-07-02 | 上海微创医疗机器人（集团）股份有限公司 | 一种手术*** |
| FR3139651A1 (fr) * | 2022-09-13 | 2024-03-15 | Surgar | Système et procédé de recalage d’un modèle 3d virtuel par affichage en semi-transparence |
| WO2024056676A1 (fr) * | 2022-09-13 | 2024-03-21 | Surgar | Système et procédé de recalage d'un modèle 3d virtuel par affichage en semi-transparence |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018514340A (ja) | 2018-06-07 |
| US20180150929A1 (en) | 2018-05-31 |
| WO2016182550A1 (en) | 2016-11-17 |
| EP3295423A1 (en) | 2018-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107580716A (zh) | 2d/2.5d腹腔镜和内窥镜图像数据与3d立体图像数据配准的方法和*** | |
| US11304759B2 (en) | Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment | |
| CN111419152B (zh) | 增强视差的内镜成像 | |
| US10789739B2 (en) | System and method for generating partial surface from volumetric data for registration to surface topology image data | |
| CN110010249B (zh) | 基于视频叠加的增强现实手术导航方法、***及电子设备 | |
| CN103402453B (zh) | 用于导航***的自动初始化和配准的***和方法 | |
| CN108369736B (zh) | 用于根据术中图像流计算切除的组织的体积的方法及设备 | |
| KR101206340B1 (ko) | 영상수술 리허설 제공방법 및 시스템, 그 기록매체 | |
| US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
| CN111588464B (zh) | 一种手术导航方法及*** | |
| Edwards et al. | SERV-CT: A disparity dataset from cone-beam CT for validation of endoscopic 3D reconstruction | |
| US11382603B2 (en) | System and methods for performing biomechanically driven image registration using ultrasound elastography | |
| Kumar et al. | Stereoscopic visualization of laparoscope image using depth information from 3D model | |
| KR101862359B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| KR102298417B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| US20220218435A1 (en) | Systems and methods for integrating imagery captured by different imaging modalities into composite imagery of a surgical space | |
| EP4135615A1 (en) | Systems and methods for enhancing medical images | |
| EP3782529A1 (en) | Systems and methods for selectively varying resolutions | |
| KR101940706B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| KR20190133423A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| CN114868151A (zh) | 在外科手术期间确定被切除组织的体积的***和方法 | |
| Sioutis | Registration of prostate surfaces for image-guided robotic surgery via the da Vinci System | |
| CN116958486A (zh) | 一种基于卷积神经网络的医学图像处理方法及*** | |
| CN115461782A (zh) | 用于配准外科手术空间的视觉表示的***和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180112 |
|
| WD01 | Invention patent application deemed withdrawn after publication |