CN114496197A - 内窥镜图像注册***和方法 - Google Patents

内窥镜图像注册***和方法 Download PDF

Info

Publication number
CN114496197A
CN114496197A CN202210279266.9A CN202210279266A CN114496197A CN 114496197 A CN114496197 A CN 114496197A CN 202210279266 A CN202210279266 A CN 202210279266A CN 114496197 A CN114496197 A CN 114496197A
Authority
CN
China
Prior art keywords
model
point cloud
images
data
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210279266.9A
Other languages
English (en)
Inventor
怀效宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Riel Image Technique Co ltd
Original Assignee
Shenzhen Riel Image Technique Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Riel Image Technique Co ltd filed Critical Shenzhen Riel Image Technique Co ltd
Publication of CN114496197A publication Critical patent/CN114496197A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种内窥镜图像处理***，用于获取人体部位的术前三维光谱模型，点云和其它影像的数据，对所述模型实现动态矫正和注册，通过融合和掩膜增强显示所述数据，突出部位的术中变化，有助于内窥镜的精准操作和微创手术机器人的导航。

Description

内窥镜图像注册***和方法
技术领域
本发明应用于生物和医学领域，尤其应用于医学图像处理，注册和手术机器人的自动导航。
背景技术
用于微创或自然孔口检查或手术的内窥镜通过摄像头获取光谱图像。CT、MRI、超声波和其他3D成像模式通常用于术前计划或术中辅助数据。在手术过程中，需要跟踪人体部位位置，以协助外科医生进行手术或引导手术机器人。上述跟踪可以通过融合或注册来自各种成像机制的图像或影像数据来完成。迄今，现有技术的图像注册主要偏向于以术前或术中获得的3D影像作为参考目标对内窥镜图像进行注册。
发明内容
本发明披露了一种人体部位的三维光谱数据模型的建模方法，以及基于所述模型的图像处理***，包括数据采集模块、处理模块和显示模块；数据采集模块用于获取生物体包括人体的部位的三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；处理模块用于执行以下一项或多项：3D打印所述模型；参照所述点云，对所述模型进行矫正; 3D打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3D打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示模块显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。
数据采集模块可以包括：至少一个摄像头，或至少一个内窥镜，所述内窥镜可以包括至少一个摄像头，光源。处理模块可以包括至少一个处理器，以及所述处理器的指令集、参数集及固、动态存储器。显示模块可以包括至少一个显示器；数据采集模块、处理模块、显示模块之间可以由通讯链路连接。***可以通过设置人机接口界面和网络通讯来进行控制和数据传送。处理模块可以运行至少一个基于本***的检查或手术机器人手术的程序。
处理模块还可以参照所述模型的任一坐标体素的一种光点的第一亮度值，与和所述坐标对应的所述点云的所述一种光点的第二亮度值的相关或相同，所述对应包括所述体素的坐标与所述点云的所述光点的坐标相关或相同，确定或修改所述第一亮度值；和/或确定或修改所述体素的所述一种光点的色调致使所述色调在HSV色空间中的第一H值与所述点云的所述一种光点的色调的第二H值之间的差值小于第一个阈值；进一步的参照第一亮度值，第一H值，数据采集模块的摄像头的光源的照度的空间分布和光谱特性，所述部位组织的光谱特性，以及所述光源、摄像头和部位之间的相对位置的一项或多项，确定或修改与所述体素相邻的体素的所述光点的亮度值和色调；其中，所述部位任一种组织的任意两个体素的所述一种光点的色调的H值的差值小于第二个阈值。
处理模块还可以将所述点云与所述矫正后的模型进行匹配；参照所述匹配，确定或修改所述矫正后模型的数据或获取所述部位的位置。
所述其它影像包括CT、MRI、超声的一项或多项；处理模块可以进一步执行下述一项或多项：参照所述其它影像，对所述模型进行第二注册，包括确定、修改所述模型的数据或获取所述部位的位置；参照所述第二注册，操控所述手术机器人或内窥镜。
处理模块还可以提取所述点云、模型和其它影像的一项或多项的特征，所述特征包括器官之间的横向位置关系或器官组织层之间的纵向位置关系；进一步执行下述一项或多项：参照所述特征对所述模型或所述矫正后的模型或所述注册后的模型进行第三注册，包括确定、修改所述模型或所述矫正后的模型或所述注册后的模型或获取所述部位的位置；参照所述第三注册，操控所述手术机器人或内窥镜；获取并通过显示模块显示所述特征的点集与所述模型、所述矫正后的模型、所述注册后的模型、所述第三注册后的模型、所述掩膜融合后的模型、所述点云、所述其它影像的一项或多项融合后的数据，包括参照所述点集对所述一项或多项进行掩膜融合包括将所述一项或多项的对应于所述点集任一特征点的坐标的至少一种光点设置为掩膜值后得到的数据。
进一步的，处理模块还可以参照所述注册、第二注册、第三注册的组合，操控所述手术机器人或内窥镜。
处理模块还可以将所述模型、所述矫正后的模型、所述注册后的模型，所述其它影像的一项或多项的对应于所述点云的任一光点的坐标的体素的至少一种光点设置为掩膜值，所述掩膜值能够被设置为所述任一光点，所述对应包括所述体素的坐标能够与所述点云的所述光点的坐标相关包括相同。
数据采集模块还可以通过一对双目视觉的摄像头拍摄所述部位的图像，获取与所述图像耦合的点云；或者在采用一个摄像头拍摄所述部位的图像的同时或同步，用另一个深度摄像头获取所述部位的点云的坐标；或者采用一个配有3D传感器的摄像头同时拍摄所述部位的图像和点云。
数据采集模块还可以获取对应于序列号n+1的点云或其它影像，处理模块基于参照对应于序列号n的点云或其它影像注册后的模型及所述对应于序列号n+1的点云或其它影像对所述模型进行注册，并实现权利要求1-10任一项所述的功能。
本发明还提供了与上述***对应的一种图像处理方法，包括以下步骤：步骤一，获取生物体包括人体的部位的三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；步骤二，执行以下一项或多项：3D打印所述模型；参照所述点云，对所述模型进行矫正; 3D打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3D打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。
上述方法所述矫正包括以下步骤：步骤1，参照所述模型的任一坐标体素的一种光点的第一亮度值，与和所述坐标对应的所述点云的所述一种光点的第二亮度值的相关或相同，所述对应包括所述体素的坐标与所述点云的所述光点的坐标相关或相同，确定或修改所述第一亮度值；和/或确定或修改所述体素的所述一种光点的色调致使所述色调在HSV色空间中的第一H值与所述点云的所述一种光点的色调的第二H值之间的差值小于第一个阈值；步骤2，参照所述第一亮度值和第一H值，光源照度的空间分布和光谱特性，所述部位组织的光谱特性，以及光源、摄像头和所述部位之间的相对位置的一项或多项，确定或修改与所述体素相邻的体素的所述光点的亮度值和色调；其中，所述部位任一种组织的任意两个体素的所述一种光点的色调的H值的差值小于第二个阈值。
上述方法所述注册包括以下步骤：将所述点云与所述矫正后的模型进行匹配；参照所述匹配，确定或修改所述矫正后的模型的数据和/或获取所述部位的位置。
上述方法所述其它影像包括CT、MRI、超声的一项或多项；所述方法还包括执行下述一项或多项：参照所述其它影像，对所述模型进行第二注册，包括确定、修改所述模型的数据或获取所述部位的位置；参照所述第二注册，操控所述手术机器人和/或内窥镜。
上述方法还可以包括以下步骤：将所述模型、或所述矫正后的模型、所述注册后的模型，或所述其它影像一项或多项的对应于所述点云的任一光点的坐标的体素的至少一种光点设置为掩膜值，所述掩膜值能够被设置为所述任一光点，所述体素的坐标能够与所述任一光点的坐标相关包括相同。
上述方法还可以包括以下步骤：步骤1，提取所述点云、模型和其它影像的一项或多项的特征，所述特征包括器官之间的横向位置关系或器官组织层之间的纵向位置关系；步骤2，执行下述一项或多项：参照所述特征对所述模型或所述矫正后的模型或所述注册后的模型进行第三注册，包括确定、修改所述模型或所述矫正后的模型或所述注册后的模型或获取所述部位的位置；参照所述第三注册，操控所述手术机器人或内窥镜；获取并显示所述特征的点集与所述模型、所述矫正后的模型、所述注册后的模型、所述第三注册后的模型、所述掩膜融合后的模型、所述点云、所述其它影像的一项或多项融合后的数据，包括参照所述点集对所述一项或多项进行掩膜融合包括将所述一项或多项的对应于所述点集任一特征点的坐标的至少一种光点设置为掩膜值后得到的数据。
上述方法还可以包括：参照所述注册、第二注册、第三注册的组合，操控所述手术机器人或内窥镜。
上述方法所述获取点云可以包括：通过一对双目视觉的摄像头拍摄所述部位的图像，获取与所述图像耦合的点云；或者在采用一个摄像头拍摄所述部位的图像的同时或同步，用另一个深度摄像头获取所述部位的点云的坐标；或者采用一个配有3D传感器的摄像头同时拍摄所述部位的图像和点云。
上述方法还可以包括以下步骤：获取对应于序列号n+1的点云或其它影像；基于参照对应于序列号n的点云或其它影像注册后的模型及所述对应于序列号n+1的点云或其它影像对所述模型进行注册，并实现上述所有功能。
本发明有助于内窥镜精准操作以及给自动微创手术机器人提供导航。人体部位3D数据模型可以用于3D打印。
附图说明
图1是***架构的示意图。
图2是数据采集模块结构的示意图。
图3是显示模块结构的示意图。
图4是处理模块结构的示意图。
图5是***链路的示意图。
图6是***操作流程原理示意图。
具体实施例
以下实施例仅用于说明本发明而不限定本发明。 图2-图6是模块化的***原理示意图。 本发明的提出基于以下观察和考量：术前获得的3D影像不一定吻合内窥镜检查或手术中身体部位的实际位置。尽管术中放射性影像可能有助于动态定位，但其获取可能会给患者和医务人员的安全带来风险，并增加手术室的设置的成本和复杂性。内窥镜图像和与图像耦合的点云包含了手术部位的实时信息，可以用作注册基于其它影像数据的模型的参考。如图1所示， XiYiZi坐标系为模型在术前规划时的坐标系，xyz为术中坐标系。最小的圆点为体素。椭圆为部位特征。最大的轮廓为部位边界。人体部位可以模拟成一个三维空间体，个体的差异可以表现为空间体的体素各向特异地、平滑地膨胀或压缩，位移或旋转。部位模型可以包括一个通用模型，通用的范围可以包括相同的性别、种族和年龄段。通用模型的建立可以结合解剖学、部位组织的光谱特征特性和部位表面及内部的影像特征。由于人体各个部位组织结构的独特性，同一种组织的光谱特性可以是相同或相似的。模型中体素代表的包括皮肤、粘膜、脂肪、神经、筋膜、肌肉、血管、内脏器官以及骨骼的组织既可以通过如CT、MRI、超声等影像区分，也可以通过其光谱图像来区分。具体的，可以优选的通过以下步骤来建立一个部位的三维光谱数据模型：从包含CT、MRI和超声波的一种或多种3D图像中提取所述部位组织解剖的形态结构，所述形态结构包括所述部位的3D数据模型； 进一步的参照数据采集模块使用的光源照度的空间分布、光源的光谱特性和组织的光谱特性以及光源、摄像头和所述部位之间的相对位置，可以优选的通过查找表来确定所述模型体素的光点的亮度值。比如要获取手术部位肌肉模型的体素的光点，可以先得到肌肉的影像的轮廓，再将对应于轮廓内肌肉的体素按照上述步骤赋予亮度。可以参照光源以及部位组织的光谱特性确定体素的色调，任一种组织的任意两个体素的色调的H值的差值可以设置为小于一个阈值。体素的采样率和模型的空间分辨率，符合奈奎斯特采样定理。
处理模块还可以对所述模型进行实时矫正，包括获取所述部位的点云，参照所述模型的任一坐标体素的一种光点的亮度值，与所述点云所述坐标的同一种光点的亮度值的相关，所述坐标的所述一种光点对应于所述部位的一种光斑，确定或修改所述体素的所述光点的亮度值，和/或，确定或修改所述体素的所述光点的色调致使所述色调在HSV色空间中的第一H值与所述点云的所述光点的色调的第二H值之间的差值可以小于一个阈值，所述一个阈值可以和所述部位组织的光谱特性或荧光特性相关；进一步参照所述体素的所述光点的亮度值和色调确定或修改与所述体素相邻的体素的所述光点的亮度值和色调，其中，所述部位任一种组织的任意两个体素的所述光点的色调的H值的差值可以小于另一个阈值。进一步的，处理模块可以将所述点云与所述矫正后的模型进行匹配；参照所述匹配，对所述模型进行注册，包括确定或修改所述模型的数据或获取所述部位的位置。
人体部位3D数据模型或影像数据可以用P(x,y,z, λi，n)表示, 式中，P代表任意一个体素；x，y，z 为所述体素在一个坐标系中的坐标；
λi为一个光点数据结构：
如对应于日光光点，则可用λ1 =（R, G, B）表示；
以此类推，λ2 =（r, g, b）可以表示荧光光点；
λ3 =（ρc）表示CT图像值或所述CT图像值映射的光点；
λ4 =（ρm）表示MRI 图像值或所述MRI图像值映射的光点；
λ5 =（ρs）表示超声图像值或所述超声图像值映射的光点；
λ6可以表示某一个掩膜值的光点。
n代表模型的一个序列号。实际应用时，模型的数据可以包含上述一种或多种光点，或对应其它度量值的光点，序列号n 可以代表图像或点云的获取序列。
本发明对模型的注册，可以包括以下的一个实施例：首先将所述部位的图像从图像视野中分割出来，处理模块可以自动进行图像分割，或者由人工进行边界标注；进一步获取与所述边界中的图像耦合的点云，所述点云包括所述边界中的图像的像素及所述像素对应的曲面或点云的坐标；对模型进行矫正后，将所述模型的体素的光点与所述点云进行匹配；基于所述匹配，修正所述模型。进一步的， 匹配的算法可以采用如最小均方误差的算法和以下步骤：步骤1：获取所述点云；步骤2，获取所述模型对应于所述点云的坐标的体素的光点；步骤3，计算所述体素的光点和所述点云的光点的均方误差；步骤4，获取对所述坐标进行平移、旋转、以及缩放变换后的新坐标；步骤5，计算所述模型对应于所述新坐标的光点和所述点云的光点的均方误差和对应的位移和转角；获取对应于最小均方误差的位移、转角和缩放数据；步骤6，遍态历经坐标变换的参数，重复步骤4-6，得到包括位移、转角和缩放数据的一组参数。可以基于所述一组参数对所述模型或其它影像数据进行修正，也可以对模型不同的体素采用不同的变换。 进一步的，参照注册后的模型可以实现以下一项或多项：操控手术机器人和内窥镜的一项或多项；处理模块还可以将对应于图像序列号n的一次处理的结果或中间数据保留在缓存中，作为处理下一次对应于图像序列号n+1的参照。特别的，可以采用包括卡尔曼滤波的方法，将注册后的模型反馈到***的输入端作为对所述模型进行注册的参照。
在内窥镜检查或手术时，手术部位的层次结构随着手术的进行逐步暴露在手术视野。外科医生由于无法事先看到病灶的全貌，只能由表及里，由此及彼，即依据当前手术位置的视野，术前规划的数据和经验估计手术部位结构包括病灶的位置、深度或范围并决定下一步的手术路径。和医生的经验积累相仿，手术机器人不仅可以积累独立操作的经验，还可以直接或间接的借鉴其它同族机器人的经验。

Claims (10)

1.一种内窥镜图像***，其特征在于，包括数据采集模块、处理模块和显示模块；数据采集模块用于获取生物体包括人体的部位的三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；处理模块用于执行以下一项或多项：3D打印所述模型；参照所述点云，对所述模型进行矫正; 3D打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3D打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示模块显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。
2.如权利要求1所述的***，其特征在于，处理模块还用于参照所述模型的任一坐标体素的一种光点的第一亮度值，与和所述坐标对应的所述点云的所述一种光点的第二亮度值的相关或相同，所述对应包括所述体素的坐标与所述点云的所述光点的坐标相关或相同，确定或修改所述第一亮度值；和/或确定或修改所述体素的所述一种光点的色调致使所述色调在HSV色空间中的第一H值与所述点云的所述一种光点的色调的第二H值之间的差值小于第一个阈值；进一步的参照第一亮度值，第一H值，数据采集模块的摄像头的光源的照度的空间分布和光谱特性，所述部位组织的光谱特性，以及所述光源、摄像头和部位之间的相对位置的一项或多项，确定或修改与所述体素相邻的体素的所述光点的亮度值和色调；其中，所述部位任一种组织的任意两个体素的所述一种光点的色调的H值的差值小于第二个阈值。
3.如权利要求1-2任一项所述的***，其特征在于，处理模块还用于将所述点
云与所述矫正后的模型进行匹配；参照所述匹配，确定或修改所述矫正后模型的数据或获取所述部位的位置。
4.如权利要求1所述的***，其特征在于，所述其它影像包括CT、MRI、超声的一项或多项；处理模块还用于执行下述一项或多项：参照所述其它影像，对所述模型或所述矫正后的模型或所述注册后的模型进行第二注册，包括确定、修改所述矫正后的模型或所述注册后的模型的数据或获取所述部位的位置；参照所述第二注册，操控所述手术机器人或内窥镜。
5.如权利要求1所述的***，其特征在于，处理模块还用于提取所述点云、模型和其它影像的一项或多项的特征，所述特征包括器官之间的横向位置关系或器官组织层之间的纵向位置关系；进一步执行下述一项或多项：参照所述特征对所述模型或所述矫正后的模型或所述注册后的模型进行第三注册，包括确定、修改所述模型或所述矫正后的模型或所述注册后的模型或获取所述部位的位置；参照所述第三注册，操控所述手术机器人或内窥镜；获取并通过显示模块显示所述特征的点集与所述模型、所述矫正后的模型、所述注册后的模型、所述第三注册后的模型、所述掩膜融合后的模型、所述点云、所述其它影像的一项或多项融合后的数据，包括参照所述点集对所述一项或多项进行掩膜融合包括将所述一项或多项的对应于所述点集任一特征点的坐标的至少一种光点设置为掩膜值后得到的数据。
6.如权利要求1-5任一项所述的***，其特征在于，处理模块还用于参照所述注册、第二注册、第三注册的组合，操控所述手术机器人或内窥镜。
7.如权利要求1所述的***，其特征在于，处理模块还用于将所述
模型、所述矫正后的模型、所述注册后的模型，所述其它影像的一项或多项的对应于所述点云的任一光点的坐标的体素的至少一种光点设置为掩膜值，所述掩膜值能够被设置为所述任一光点，所述对应包括所述体素的坐标能够与所述点云的所述光点的坐标相关包括相同。
8.如权利要求1所述的***，其特征在于，数据采集模块还用于通过一对双目
视觉的摄像头拍摄所述部位的图像，获取与所述图像耦合的点云；或者在采用一个摄像头拍摄所述部位的图像的同时或同步，用另一个深度摄像头获取所述部位的点云的坐标；或者采用一个配有3D传感器的摄像头同时拍摄所述部位的图像和点云。
9.如权利要求1-8任一项所述的***，数据采集模块还用于获取对应于序列号
n+1的点云或其它影像，处理模块基于参照对应于序列号n的点云或其它影像注册后的模型及所述对应于序列号n+1的点云或其它影像对所述模型进行注册，并实现权利要求1-9任一项所述的功能。
10.一种图像处理方法，包括以下步骤：步骤一，获取生物体包括人体的部位的
三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；步骤二，执行以下一项或多项：3D打印所述模型；参照所述点云，对所述模型进行矫正; 3D打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3D打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。
CN202210279266.9A 2022-02-06 2022-03-22 内窥镜图像注册***和方法 Withdrawn CN114496197A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202220249273X 2022-02-06
CN202220249273 2022-02-06

Publications (1)

Publication Number Publication Date
CN114496197A true CN114496197A (zh) 2022-05-13

Family

ID=81488415

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210279266.9A Withdrawn CN114496197A (zh) 2022-02-06 2022-03-22 内窥镜图像注册***和方法
CN202210370672.6A Pending CN115530974A (zh) 2022-02-06 2022-04-11 内窥镜图像注册***和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210370672.6A Pending CN115530974A (zh) 2022-02-06 2022-04-11 内窥镜图像注册***和方法

Country Status (2)

Country Link
US (1) US20220175457A1 (zh)
CN (2) CN114496197A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222835A1 (en) * 2022-02-06 2022-07-14 Real Image Technology Co., Ltd Endoscopic image registration

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US9592095B2 (en) * 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US11741854B2 (en) * 2017-10-17 2023-08-29 Regents Of The University Of Minnesota 3D printed organ model with integrated electronic device
US20190246946A1 (en) * 2018-02-15 2019-08-15 Covidien Lp 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
US11191423B1 (en) * 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging

Also Published As

Publication number Publication date
US20220175457A1 (en) 2022-06-09
CN115530974A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
JP7443353B2 (ja) 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正
US20240041298A1 (en) Endoscopic imaging with augmented parallax
US20230073041A1 (en) Using Augmented Reality In Surgical Navigation
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
US9498132B2 (en) Visualization of anatomical data by augmented reality
US20200315734A1 (en) Surgical Enhanced Visualization System and Method of Use
US20070167706A1 (en) Method and apparatus for visually supporting an electrophysiological catheter application in the heart by means of bidirectional information transfer
EP2901935B1 (en) Method and device for generating virtual endoscope image, and program
CN111494006B (zh) 用于在内窥镜图像中显示肿瘤位置的方法
EP2901934B1 (en) Method and device for generating virtual endoscope image, and program
US20230113035A1 (en) 3d pathfinder visualization
Reiter et al. Surgical structured light for 3D minimally invasive surgical imaging
WO2019073681A1 (ja) 放射線撮像装置、画像処理方法及び画像処理プログラム
CN114496197A (zh) 内窥镜图像注册***和方法
Feuerstein et al. Automatic Patient Registration for Port Placement in Minimally Invasixe Endoscopic Surgery
Bernhardt et al. Automatic detection of endoscope in intraoperative ct image: Application to ar guidance in laparoscopic surgery
KR20190004591A (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
Andrea et al. Validation of stereo vision based liver surface reconstruction for image guided surgery
Chen et al. Video-guided calibration of an augmented reality mobile C-arm
KR20190069751A (ko) 복수의 후보 좌표를 이용한 특징점 기반 정합 장치 및 방법
US20220222835A1 (en) Endoscopic image registration
Vogt Augmented light field visualization and real-time image enhancement for computer assisted endoscopic surgery
US20240216078A1 (en) Systems and methods for providing surgical guidance
KR102534981B1 (ko) 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템
KR101977650B1 (ko) 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220513