CN116531094A - 一种角膜移植手术机器人视触觉融合导航方法及*** - Google Patents

一种角膜移植手术机器人视触觉融合导航方法及*** Download PDF

Info

Publication number
CN116531094A
CN116531094A CN202310620064.0A CN202310620064A CN116531094A CN 116531094 A CN116531094 A CN 116531094A CN 202310620064 A CN202310620064 A CN 202310620064A CN 116531094 A CN116531094 A CN 116531094A
Authority
CN
China
Prior art keywords
data
fusion
pose
visual
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310620064.0A
Other languages
English (en)
Inventor
张小栋
王皓明
冯晓静
刘洪成
李明阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202310620064.0A priority Critical patent/CN116531094A/zh
Publication of CN116531094A publication Critical patent/CN116531094A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Urology & Nephrology (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种角膜移植手术机器人视触觉融合导航方法及***，通过立体显微镜相机与OCT***捕获的图像经数据融合处理后得到视觉特征信息，通过手术工具末端的光纤传感器获得力测量信息，通过关节编码器获取当前状态的位姿数据。将三种数据作为输入，利用视触觉融合算法、神经网络进行融合、预测，输出机器人下一步的力/位精密操作，从而实现角膜移植手术机器人的自主视触觉融合导航。本发明利用触觉数据对视觉手术导航进行辅助，减轻仅依靠视觉数据导航的不稳定性，进而完成自主显微角膜移植手术精密操作。

Description

一种角膜移植手术机器人视触觉融合导航方法及***
技术领域
本发明属于医疗手术机器人技术领域，具体涉及一种角膜移植手术机器人视触觉融合导航方法及***。
背景技术
在角膜移植手术中，医生用透明的角膜片置换浑浊或有病变部分的角膜，以达到增视、治疗某些角膜病和改善外观的目的。在手术过程中，医生的环钻和缝合等操作的精细程度取决于医生眼部观察和手部触觉感知的经验。由于经验不足导致的手术效果不理想将会直接影响角膜术后的康复效果。
将医生人手的操作经验迁移并嵌入到手术机器人上。立体视觉显微镜和iOCT***充当人眼，实现对视觉信息即角膜、缝针等物体的位姿信息的采集；光纤传感器充当人手触觉感受器，实现对触觉信息即手术过程中的轴向力、横向力的采集。
通过手术机器人的自动化精准操作控制手段实现手术参数的最优化，可以在改善手术效果、患者术后康复的同时，减轻医生的工作压力。
视触觉融合技术一般用于基于视觉的机械手物体抓取中，模拟人在抓取过程中的决策过程，为实现稳抓稳取的目的。在本发明中。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种角膜移植手术机器人视触觉融合导航方法及***，将视触觉融合技术与角膜移植手术机器人中结合，从而模拟医生手术过程中的决策过程，实现精准手术路径规划，用于解决基于单一数据源的手术导航精准度、准确率不足的技术问题。
本发明采用以下技术方案：
一种角膜移植手术机器人视触觉融合导航方法，包括以下步骤：
S1、将当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及角膜截面图像处理后得到的***作对象的位姿信息进行数据预处理；再经位姿数据转换到同一坐标系下；
S2、利用视觉数据融合算法将步骤S1得到的两个位姿坐标进行计算和融合，形成融合计算后的位姿数据；
S3、对光纤力测量得到的测量数据进行分类预处理，得到机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据；
S4、将步骤S2得到的位姿数据、步骤S3得到的机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据进行拼接，然后输入卷积神经网络进行融合，输出下一控制周期的机械臂位姿以及环境接触判定信息，实现视触觉融合导航。
具体的，步骤S1中，进行预处理时，首先得到当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及光学相干断层扫描OCT***拍摄到的角膜截面图像处理后得到的***作对象的位姿信息；通过建立手术机器人模型以及手眼标定模型，根据坐标变换关系，将两个位姿数据转换到同一坐标系下。
具体的，步骤S2中，采用贝叶斯先验知识估计算法对立体显微镜图像***得到的位姿数据与OCT***得到的位姿数据进行融合具体为：
S201、根据手术机器人视觉***中两个中视觉传感器本身的高斯分布特性计算手术机器人视觉***中立体显微镜***和光学相干断层扫描OCT***的置信距离dij；
S202、定义关系矩阵及临界值，当计算出的置信距离dij大于临界值时，认为光学相干断层扫描OCT***的预处理数据矩阵并不能支持立体显微镜的预处理数据矩阵，关系矩阵元素设置为0，反之，认定数据有效，关系矩阵元素设置为1；
S203、将立体显微镜与OCT***两个传感器预处理数据通过先验知识进行融合和完善，生成当前时刻融合后的三维坐标值，作为手术机器人末端位姿数据。
进一步的，步骤S203中，当前时刻融合后的三维坐标值p为：
p＝[px,py,pz]T
其中，px为x坐标，py为y坐标，pz为z坐标，T为矩阵的转置操作。
具体的，步骤S3具体为：
S301、结合视觉信息及力测量值的变化，对手术过程中缝线的工作流程进行划分，分别形成代表穿刺过程的数据；
S302、将力测量数据与步骤S301得到的代表穿刺过程的数据进行拼接、存储，作为处理后的力测量数据。
进一步的，步骤S301中，手术过程中缝线的工作流程分为穿刺角膜但未刺破、针正在穿过角膜、完全穿过角膜，分别形成代表穿刺过程数据并记录，拼接到原始力数据后，形成新的、处理过后的力传感数据。
具体的，步骤S4具体为：
S401、将步骤S3预处理后的视觉、触觉数据，以及机器人本体传感器的数据输入卷积神经网络进行融合；
S402、基于视触觉融合下的手术机器人路径规划的数据库，在线学习并生成下一控制周期的机械臂位姿以及环境接触判定信息。
进一步的，步骤S401中，卷积神经网络的输入为视觉融合位姿数据与触觉数据的拼接。
具体的，步骤S402中，采用手术机器人替代的可重复手术动作以及可采用机器人辅助完成的高难度手术动作，根据角膜移植手术操作基元的研究，建立手术机器人手术路径的数据库。
第二方面，本发明实施例提供了一种角膜移植手术机器人视触觉融合导航***，包括：
预处理模块，将当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及角膜截面图像处理后得到的***作对象的位姿信息进行数据预处理；再经位姿数据转换到同一坐标系下；
融合模块，利用视觉数据融合算法将预处理模块得到的两个位姿坐标进行计算和融合，形成融合计算后的位姿数据；
分类模块，对光纤力测量得到的测量数据进行分类预处理，得到机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据；
导航模块，将融合模块得到的位姿数据、分类模块得到的机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据进行拼接，然后输入卷积神经网络进行融合，输出下一控制周期的机械臂位姿以及环境接触判定信息，实现视触觉融合导航。
与现有技术相比，本发明至少具有以下有益效果：
一种角膜移植手术机器人视触觉融合导航方法，利用算法融合同场景、具有互补信息、不同源的显微三维成像图像、OCT图像、触觉力序列信息，可以指导眼科手术机器人实现更为精准的智能动态定位与导航。
进一步的，两个不同的视觉***测量出来的坐标位于不同的坐标系下，需根据先前的相机标定结果，将其转换到同一坐标系下。测量数据的坐标变换使两组坐标数据具有空间一致性，方面后续的视觉数据融合。
进一步的，贝叶斯先验知识估计算法可以将两种不同源的视觉数据进行融合，从而生成更为精确的手术机器人末端位姿数据，这也利于之后的手术图像三维重建等后续研究。
进一步的，融合后的三维坐标表示为列向量形式[px,py,pz]T，便于后续的数据拼接与神经网络输入。
进一步的，步骤S3进行的数据预分类操作，对手术步骤进行初步的划分，得到特征值，并将特征值与原数据拼接，使其包含更多信息，该预处理步骤有助于提高后续融合模型的准确率。
进一步的，在步骤S301中根据当前力测量传感器的数值以及视觉信息，来对当先手术操作所处的手术微元/阶段进行分类。
进一步的，利用机器学习方法，对多元传感器预处理过后的数据进行融合、学习，从而模拟医生手术操作，达到仿医生的要求。
进一步的，对于此类手术复杂工况，采用神经网络模型可以处理视觉和触觉两种形式不一、相关性较小的特征，而网络输入采用多元传感器的简单拼接，可以通过学习，使其输出在特定工况下的末端位姿轨迹等。
进一步的，手术机器人手术路径的数据库建立基于外科医生手术时器械路径的捕捉，该数据库的建立有利于促进角膜移植手术路径的标准化，为角膜移植手术机器人手术路径规划提供指导。
可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
综上所述，本发明模拟医生实际决策过程，结合视觉、触觉等信息，将多元传感器信息作为输入，利用神经网络算法来进行融合，从而进行手术导航，本发明具有更高的准确性、鲁棒性，可以解决单一数据源的手术导航的不足。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明融合***架构图；
图2为本发明的工作原理图；
图3为另一种种视觉数据融合的算法原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本发明中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种角膜移植手术机器人视触觉融合导航方法，通过立体显微镜相机与OCT***捕获的图像经数据融合处理后得到视觉特征信息，通过手术工具末端的光纤传感器获得力测量信息，通过关节编码器获取当前状态的位姿数据。将三种数据作为输入，利用视触觉融合算法、神经网络进行融合、预测，输出机器人下一步的力/位精密操作，从而实现角膜移植手术机器人的自主视触觉融合导航。本发明利用触觉数据对视觉手术导航进行辅助，减轻仅依靠视觉数据导航的不稳定性，进而完成自主显微角膜移植手术精密操作。
请参阅图2，本发明一种角膜移植手术机器人视触觉融合导航方法，包括以下步骤：
S1、将当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及光学相干断层扫描OCT***拍摄到的角膜截面图像处理后得到的***作对象的位姿信息进行数据预处理；将两位姿数据转换到同一坐标系下，即手术机器人基坐标系下；
S2、利用视觉数据融合算法，将两坐标进行计算、融合，形成融合计算后的更为精确的位姿数据；
请参阅图3，具体步骤如下：
S201、首先根据***中两中视觉传感器本身的高斯分布特性计算出手术机器人视觉***中立体显微镜***和光学相干断层扫描OCT***的置信距离dij；
S202、定义一个关系矩阵及临界值，当计算出的置信距离dij大于临界值时，认为光学相干断层扫描OCT***的预处理数据矩阵并不能支持立体显微镜的预处理数据矩阵，关系矩阵元素设置为0，反之，认定数据有效，关系矩阵元素设置为1；
S203、利用贝叶斯估计将立体显微镜与OCT***两传感器预处理数据通过先验知识进行融合，同时可对先验知识进行完善，生成当前时刻融合后的三维坐标值p＝[px,py,pz]T，px为x坐标，py为y坐标，pz为z坐标，T为矩阵的转置操作。
S3、对手术工具末端的光纤力测量传感器的测量数据进行分类预处理；
S301、结合视觉信息及力测量值的变化，将手术过程中缝线的工作流程分为三个阶段：穿刺角膜但未刺破(穿刺过程)、针正在穿过角膜(进针过程)、完全穿过角膜。并分别形成代表穿刺过程数据；
S302、将力测量数据与代表穿刺过程的数据进行拼接、存储，作为处理后的力测量数据。
S4、将步骤S2得到的当前控制周期的位姿数据、步骤S3得到的机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据进行拼接，并作为输入，利用卷积神经网络CNN进行融合，输出下一控制周期的机械臂位姿以及环境接触判定信息。
S401、将预处理后的视觉、触觉数据，以及机器人本体传感器的数据输入到卷积神经网络中进行融合；
卷积神经网络的输入为视觉融合位姿数据与触觉数据的拼接，全连接层等网络层数的具体值需要通过试验的方法来进一步确定，以保证准确率达到最高。
S402、基于提前建立好的视触觉融合下的手术机器人路径规划的数据库，在线学习并生成下一控制周期的机械臂位姿以及环境接触判定信息。
基于典型的外科医生的角膜移植手术操作流程，分析可采用手术机器人替代的可重复手术动作以及可采用机器人辅助完成的高难度手术动作，根据角膜移植手术操作基元的研究，建立手术机器人手术路径的数据库。
下一阶段位姿信息以及环境接触判定信息将输入角膜移植手术机器人控制***，用于指导手术机器人代替人完成手术操作。
本发明再一个实施例中，提供一种角膜移植手术机器人视触觉融合导航***，该***能够用于实现上述角膜移植手术机器人视触觉融合导航方法，具体的，该角膜移植手术机器人视触觉融合导航***包括预处理模块、融合模块、分类模块以及导航模块。
其中，预处理模块，将当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及角膜截面图像处理后得到的***作对象的位姿信息进行数据预处理；再经位姿数据转换到同一坐标系下；
融合模块，利用视觉数据融合算法将预处理模块得到的两个位姿坐标进行计算和融合，形成融合计算后的位姿数据；
分类模块，对光纤力测量得到的测量数据进行分类预处理，得到机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据；
导航模块，将融合模块得到的位姿数据、分类模块得到的机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据进行拼接，然后输入卷积神经网络进行融合，输出下一控制周期的机械臂位姿以及环境接触判定信息，实现视触觉融合导航。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于角膜移植手术机器人视触觉融合导航方法的操作，包括：
将当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及角膜截面图像处理后得到的***作对象的位姿信息进行数据预处理；再经位姿数据转换到同一坐标系下；利用视觉数据融合算法将两个位姿坐标进行计算和融合，形成融合计算后的位姿数据；对光纤力测量得到的测量数据进行分类预处理，得到机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据；将位姿数据、机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据进行拼接，然后输入卷积神经网络进行融合，输出下一控制周期的机械臂位姿以及环境接触判定信息，实现视触觉融合导航。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作***。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关角膜移植手术机器人视触觉融合导航方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
将当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及角膜截面图像处理后得到的***作对象的位姿信息进行数据预处理；再经位姿数据转换到同一坐标系下；利用视觉数据融合算法将两个位姿坐标进行计算和融合，形成融合计算后的位姿数据；对光纤力测量得到的测量数据进行分类预处理，得到机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据；将位姿数据、机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据进行拼接，然后输入卷积神经网络进行融合，输出下一控制周期的机械臂位姿以及环境接触判定信息，实现视触觉融合导航。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明受医生在执行角膜移植手术过程中判断手术工具穿刺点位置信息及力大小信息的启发，将视触觉融合框架迁移运用角膜移植手术机器人上。
融合***架构如图1所示。利用立体显微镜及OCT***对病人的角膜外侧及界面的图像信息进行获取，并利用光纤力测量传感器对手术镊轴向力周向力进行获取。通过神经网络进行学习，手术机器人可以自主寻找到下一控制周期的手术机器人末端位姿及环境接触判定信息，从而实现类医生手术操作。
请参阅图2及图3，对视觉信息需进行预处理时，首先得到当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及光学相干断层扫描OCT***拍摄到的角膜截面图像处理后得到的***作对象的位姿信息。之后通过建立起的手术机器人模型以及事先确定好的手眼标定模型，根据坐标变换关系，将两位姿数据转换到同一坐标系下，即手术机器人基坐标系下。
随后对两种数据进行融合，在这里采用贝叶斯先验知识估计算法：首先根据***中两中视觉传感器本身的高斯分布特性计算出手术机器人视觉***中立体显微镜***和光学相干断层扫描OCT***的置信距离。之后定义一个关系矩阵及临界值，来确定光学相干断层扫描OCT***的预处理数据矩阵是否可以支持立体显微镜的数据矩阵，如果不可以，则需要重新定义；之后利用贝叶斯估计将两传感器预处理数据通过先验知识进行融合，生成当前时刻更为精确的手术机器人末端位姿数据。
光纤力测量传感器的测量数据的分类依靠触觉信息，并利用视觉信息辅助判断；每个步骤之间的分界点，力量存在突变情况，依次来区分不同的手术阶段。
结合视觉信息及力测量值的变化，通过分类器将力数据在时间线上分成三个部分，即将手术过程中缝线的工作流程可以***地分为三个阶段：穿刺角膜但未刺破(穿刺过程)、针正在穿过角膜(进针过程)、完全穿过角膜。分别形成代表穿刺过程数据并记录，拼接到原始力数据后，形成新的、处理过后的力传感数据。
图1的融合架构图，将视觉模块输出的融合末端位姿数据、触觉模块输出的力传感预处理数据、以及机器人本体传感器的测量数据进行拼接，作为融合模块的输入。融合模块利用卷积神经网络CNN进行融合处理，基于预先训练好的模型，融合模块最终输出下一控制周期的机械臂位姿以及环境接触判定信息，从而实现仿医生的角膜移植手术操作。
综上所述，本发明一种角膜移植手术机器人视触觉融合导航方法及***，将视触觉融合用于融合角膜移植手术机器人的多元传感信息，可以实现手术机器人的更高水平的精准导航，并能够代替/部分代替眼科医生，解决当前医生长时间手术容易疲劳的问题。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等，需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种角膜移植手术机器人视触觉融合导航方法，其特征在于，包括以下步骤：
S1、将当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及角膜截面图像处理后得到的***作对象的位姿信息进行数据预处理；再经位姿数据转换到同一坐标系下；
S2、利用视觉数据融合算法将步骤S1得到的两个位姿坐标进行计算和融合，形成融合计算后的位姿数据；
S3、对光纤力测量得到的测量数据进行分类预处理，得到机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据；
S4、将步骤S2得到的位姿数据、步骤S3得到的机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据进行拼接，然后输入卷积神经网络进行融合，输出下一控制周期的机械臂位姿以及环境接触判定信息，实现视触觉融合导航。
2.根据权利要求1所述的角膜移植手术机器人视触觉融合导航方法，其特征在于，步骤S1中，进行预处理时，首先得到当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及光学相干断层扫描OCT***拍摄到的角膜截面图像处理后得到的***作对象的位姿信息；通过建立手术机器人模型以及手眼标定模型，根据坐标变换关系，将两个位姿数据转换到同一坐标系下。
3.根据权利要求1所述的角膜移植手术机器人视触觉融合导航方法，其特征在于，步骤S2中，采用贝叶斯先验知识估计算法对立体显微镜图像***得到的位姿数据与OCT***得到的位姿数据进行融合具体为：
S201、根据手术机器人视觉***中两个中视觉传感器本身的高斯分布特性计算手术机器人视觉***中立体显微镜***和光学相干断层扫描OCT***的置信距离dij；
S202、定义关系矩阵及临界值，当计算出的置信距离dij大于临界值时，认为光学相干断层扫描OCT***的预处理数据矩阵并不能支持立体显微镜的预处理数据矩阵，关系矩阵元素设置为0，反之，认定数据有效，关系矩阵元素设置为1；
S203、将立体显微镜与OCT***两个传感器预处理数据通过先验知识进行融合和完善，生成当前时刻融合后的三维坐标值，作为手术机器人末端位姿数据。
4.根据权利要求3所述的角膜移植手术机器人视触觉融合导航方法，其特征在于，步骤S203中，当前时刻融合后的三维坐标值p为：
p＝[px,py,pz]T
其中，px为x坐标，py为y坐标，pz为z坐标，T为矩阵的转置操作。
5.根据权利要求1所述的角膜移植手术机器人视触觉融合导航方法，其特征在于，步骤S3具体为：
S301、结合视觉信息及力测量值的变化，对手术过程中缝线的工作流程进行划分，分别形成代表穿刺过程的数据；
S302、将力测量数据与步骤S301得到的代表穿刺过程的数据进行拼接、存储，作为处理后的力测量数据。
6.根据权利要求5所述的角膜移植手术机器人视触觉融合导航方法，其特征在于，步骤S301中，手术过程中缝线的工作流程分为穿刺角膜但未刺破、针正在穿过角膜、完全穿过角膜，分别形成代表穿刺过程数据并记录，拼接到原始力数据后，形成新的、处理过后的力传感数据。
7.根据权利要求1所述的角膜移植手术机器人视触觉融合导航方法，其特征在于，步骤S4具体为：
S401、将步骤S3预处理后的视觉、触觉数据，以及机器人本体传感器的数据输入卷积神经网络进行融合；
S402、基于视触觉融合下的手术机器人路径规划的数据库，在线学习并生成下一控制周期的机械臂位姿以及环境接触判定信息。
8.根据权利要求7所述的角膜移植手术机器人视触觉融合导航方法，其特征在于，步骤S401中，卷积神经网络的输入为视觉融合位姿数据与触觉数据的拼接。
9.根据权利要求1所述的角膜移植手术机器人视触觉融合导航方法，其特征在于，步骤S402中，采用手术机器人替代的可重复手术动作以及可采用机器人辅助完成的高难度手术动作，根据角膜移植手术操作基元的研究，建立手术机器人手术路径的数据库。
10.一种角膜移植手术机器人视触觉融合导航***，其特征在于，包括：
预处理模块，将当前控制周期的立体显微镜图像处理后得到的操作工具位姿和***作对象上目标点位姿信息，以及角膜截面图像处理后得到的***作对象的位姿信息进行数据预处理；再经位姿数据转换到同一坐标系下；
融合模块，利用视觉数据融合算法将预处理模块得到的两个位姿坐标进行计算和融合，形成融合计算后的位姿数据；
分类模块，对光纤力测量得到的测量数据进行分类预处理，得到机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据；
导航模块，将融合模块得到的位姿数据、分类模块得到的机器人末端光纤力测量传感器的测量数据、机器人本体传感器的测量数据进行拼接，然后输入卷积神经网络进行融合，输出下一控制周期的机械臂位姿以及环境接触判定信息，实现视触觉融合导航。
CN202310620064.0A 2023-05-29 2023-05-29 一种角膜移植手术机器人视触觉融合导航方法及*** Pending CN116531094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310620064.0A CN116531094A (zh) 2023-05-29 2023-05-29 一种角膜移植手术机器人视触觉融合导航方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310620064.0A CN116531094A (zh) 2023-05-29 2023-05-29 一种角膜移植手术机器人视触觉融合导航方法及***

Publications (1)

Publication Number Publication Date
CN116531094A true CN116531094A (zh) 2023-08-04

Family

ID=87443509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310620064.0A Pending CN116531094A (zh) 2023-05-29 2023-05-29 一种角膜移植手术机器人视触觉融合导航方法及***

Country Status (1)

Country Link
CN (1) CN116531094A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117547353A (zh) * 2024-01-12 2024-02-13 中科璀璨机器人(成都)有限公司 一种双源ct成像的肿瘤精确定位与机器人穿刺方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117547353A (zh) * 2024-01-12 2024-02-13 中科璀璨机器人(成都)有限公司 一种双源ct成像的肿瘤精确定位与机器人穿刺方法及***
CN117547353B (zh) * 2024-01-12 2024-03-19 中科璀璨机器人(成都)有限公司 一种双源ct成像的肿瘤定位方法及***

Similar Documents

Publication Publication Date Title
US11907848B2 (en) Method and apparatus for training pose recognition model, and method and apparatus for image recognition
Zhao et al. A CNN-based prototype method of unstructured surgical state perception and navigation for an endovascular surgery robot
KR102014359B1 (ko) 수술영상 기반 카메라 위치 제공 방법 및 장치
CN111529063B (zh) 基于三维重建的多模态融合的手术导航***及方法
CN112618026A (zh) 远程手术数据融合交互显示***及方法
WO2022073342A1 (zh) 手术机器人及其运动错误检测方法、检测装置
Nazari et al. Image-based force estimation in medical applications: A review
Gao et al. Learning to see forces: Surgical force prediction with rgb-point cloud temporal convolutional networks
CN116531094A (zh) 一种角膜移植手术机器人视触觉融合导航方法及***
Kim et al. Autonomously navigating a surgical tool inside the eye by learning from demonstration
CN115410233B (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
CN116051631A (zh) 光斑标注方法及***
Ning et al. Inverse-reinforcement-learning-based robotic ultrasound active compliance control in uncertain environments
CN115804652A (zh) 手术操作***及方法
Lu et al. A learning-driven framework with spatial optimization for surgical suture thread reconstruction and autonomous grasping under multiple topologies and environmental noises
Huang et al. On mimicking human’s manipulation for robot-assisted spine ultrasound imaging
Ebrahimi et al. Stochastic force-based insertion depth and tip position estimations of flexible FBG-equipped instruments in robotic retinal surgery
CN116052864A (zh) 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法
CN110796064B (zh) 人体肌肉图像的建立方法、装置、存储介质及电子设备
Hüsken et al. MicroSim–a microsurgical training simulator
Sabique et al. A data driven recurrent neural network approach for reproduction of variable visuo-haptic force feedback in surgical tool insertion
Sabique et al. Stereovision based force estimation with stiffness mapping in surgical tool insertion using recurrent neural network
Tercero et al. Catheter insertion reference trajectory construction method using photoelastic stress analysis for quantification of respect for tissue during endovascular surgery simulation
CN114694442B (zh) 基于虚拟现实的超声培训方法、装置、存储介质及超声设备
WO2022157759A1 (en) Method for tracking a medical tool during a medical procedure using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination