CN114748169A - 一种基于图像经验的腹腔镜手术机器人自主运镜方法 - Google Patents

一种基于图像经验的腹腔镜手术机器人自主运镜方法 Download PDF

Info

Publication number
CN114748169A
CN114748169A CN202210338000.7A CN202210338000A CN114748169A CN 114748169 A CN114748169 A CN 114748169A CN 202210338000 A CN202210338000 A CN 202210338000A CN 114748169 A CN114748169 A CN 114748169A
Authority
CN
China
Prior art keywords
laparoscope
instrument
pose
laparoscopic
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210338000.7A
Other languages
English (en)
Inventor
赵欢
汪一苇
万赤丹
杨司航
蔡雄
丁汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Tongji Medical College of Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Tongji Medical College of Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Tongji Medical College of Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210338000.7A priority Critical patent/CN114748169A/zh
Publication of CN114748169A publication Critical patent/CN114748169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

本发明属于腹腔镜运镜技术领域，并公开了一种基于图像经验的腹腔镜手术机器人自主运镜方法。包括：对器械进行标记，对腹腔镜相机进行多点标定，在RCM约束条件下，根据腹腔镜采集得到的图像，估计器械标记的三维坐标；采集得到手术场景中的器械频率图，得到器械在腹腔镜视图下关于器械位置的评价函数；构建腹腔镜相机坐标系在视觉坐标系的姿态，构建腹腔镜姿态需要满足的直觉性约束模型；以评价函数为目标，根据RCM约束以及直觉性约束模型，构建腹腔镜位姿优化模型，以获取最优的腹腔镜位姿；将最优的腹腔镜位姿作为期望的腔镜位姿，并将该期望的腔镜位姿转化为机器人末端位姿。本发明运镜策略更加符合主刀医生的意图，方法简单，泛化能力强。

Description

一种基于图像经验的腹腔镜手术机器人自主运镜方法
技术领域
本发明属于腹腔镜运镜技术领域，更具体地，涉及一种基于图像经验的腹腔镜手术机器人自主运镜方法。
背景技术
腹腔微创手术具有对病人创伤小、病人恢复时间短等优势，在手术中已经大规模普及。腹腔微创手术需要在患者腹部打几个小孔，腹腔镜和手术器械从小孔中深入到患处附近，医生在体外进行操作，完成手术。手术过程中，由持镜助手把持腹腔镜，主刀医生通过口述指令的方式命令持镜助手移动腹腔镜，为主刀医生提供其想要的视图。但在实际手术过程中，存在有以下几点问题：1.口述指令的效率低下，同时加重主刀医生的心理负担；2.手术时间长，有时候甚至达到10个小时，给持镜助手带来了心理和生理负担；3.培养优秀的持镜助手需要长时间的实际手术经验，医院的培养成本高。
为了解决上述问题，现有技术中，产品LaproArm EH使用机械式的稳定器，用以代替扶镜助手，同时在机构上保证了RCM(remote centre of motion)约束，使得主刀医生能够轻松自如地移动腹腔镜。此外，现有技术中主要采用以下方法对腹腔镜运镜：
(1)采用主刀医生足部控制的方式来遥操作腹腔镜的移动，足部的特定动作对应了腹腔镜的特定的运动，从而取代了扶镜助手。该方法足部控制仍然不够直观，主刀医生想要灵巧操作腹腔镜需要训练。即该方法需要人来进行操作，不能完全解放主刀医生和持镜助手。
(2)使用视觉伺服的方法，对俩手术器械的标记点进行跟踪，从而保证腹腔镜视图在两个器械的中心。该方法采用固定运镜策略，使得该***能使用的手术场景十分有限，即运镜策略固定，不能胜任复杂的手术场景，也没有泛化能力。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供一种基于图像经验的腹腔镜手术机器人自主运镜方法，其中结合腹腔镜手术机器人运镜策略，采用图像法对器械进行标记并获取器械的三维坐标，同时根据历史数据中器械频率图，得到器械在腹腔镜视图下关于器械位置的评价函数，以相机坐标系中X轴在视觉坐标系Y轴的投影为约束，构建腹腔镜姿态需要满足的直觉性约束模型，同时通过RCM约束以及直觉性约束模型进行双重约束，以获取最优的腹腔镜位姿，进而将该最优的腹腔镜位姿作为期望的腔镜位姿，转化为机器人末端位姿，以此方式，使得腹腔镜的运镜策略符合手术场景，使运镜策略更加符合主刀医生的意图。同时手术视频数据量充足，运镜策略获得的方法简单，该方法应用在不同种类的手术场景中，泛化能力强。
为实现上述目的，本发明提出了一种基于图像经验的腹腔镜手术机器人自主运镜方法，包括以下步骤：
S100对器械进行标记，对腹腔镜相机进行多点标定，确定相机参数以及相机相对于机器人末端的齐次变换矩阵；
S200在RCM约束条件下，根据腹腔镜采集得到的图像，估计器械标记的三维坐标；
S300采集得到手术场景中的器械频率图，得到器械在腹腔镜视图下关于器械位置的评价函数；
S400构建腹腔镜相机坐标系在视觉坐标系的姿态，同时，以相机坐标系中X轴在视觉坐标系Y轴的投影为约束，构建腹腔镜姿态需要满足的直觉性约束模型；
S500以评价函数为目标，根据RCM约束以及直觉性约束模型，构建腹腔镜位姿优化模型，以获取最优的腹腔镜位姿；
S600将最优的腹腔镜位姿作为期望的腔镜位姿，并将该期望的腔镜位姿转化为机器人末端位姿。
作为进一步优选的，步骤S100中，所述相机参数包括腹腔镜相机内参系数以及腹腔镜相机畸变系数；
优选的，所述腹腔镜相机内参系数如下：
Figure BDA0003575104090000031
式中，fx,fy为相机的焦距，[u0,v0]为相机光轴在图像坐标系的像素坐标；
优选的，所述腹腔镜相机畸变系数如下：
xu＝xd+(xd-xc)(K1r2+K2r4)+P1(r2+2(xd-xc)2)+2P2(xd-xc)(yd-yc)
yu＝yd+(yd-yc)(K1r2+K2r4)+P2(r2+2(yd-yc)2)+2P1(xd-xc)(yd-yc)
式中，[xu,yu]为畸变校正后的像素点，[xd,yd]为畸变前的像素点，[xc,yc]为畸变中心，K1,K2为径向畸变系数，P1,P2为切向畸变系数。
作为进一步优选的，步骤S100中，采用手眼标定转换矩阵来构建相机相对于机器人末端的齐次变换矩阵：
所述齐次变换矩阵的计算模型如下：
Figure BDA0003575104090000032
式中，
Figure BDA0003575104090000033
为相机相对于机器人末端的齐次变换矩阵，
Figure BDA0003575104090000034
为旋转矩阵，
Figure BDA0003575104090000035
为位移向量，SE(3)为特殊欧几里得群。
作为进一步优选的，步骤S200中，记器械位于RCM点处的点为D点，在器械上标定A,B,C三点，且A,B,C三点的距离、空间坐标已知，A点位于器械顶端；
分别获取A,B,C,D在相机图像平面上的投影点A',B',C',D'；
根据投影中交比不变的原理，可以得到：
Figure BDA0003575104090000041
Figure BDA0003575104090000042
根据相机投影方程，可以得到：
Figure BDA0003575104090000043
从而求解出器械标记A点的三维坐标A＝[XA,YA,ZA]T；
式中，[uA,vA]T为A点的像素坐标；K为投影矩阵，ZA为器械标记A点在腹腔镜坐标系中的深度，[XD,YD,ZD]T为D点的三维坐标。
作为进一步优选的，步骤S300具体包括以下步骤：
S31将手术视频进行语义分割，抽离出器械尖端的掩膜；
S32将抽离出的掩膜图像进行叠加，得到器械在图像上的频率分布图；
S33使用高斯分布对器械的频率分布图进行拟合、归一化处理，得到高斯分布的参数；
S34以器械的三位位置为输入，根据不同器械的权重，构建判断运镜视场好坏的评价函数；
优选的，所述评价函数为：
J(x)＝-WS·G(pi)
式中，J(x)为评价函数，WS为器械的权重，一般而言，为左右器械的权重，G为统计得到的高斯分布，pi为手术器械尖端在腹腔镜图像中的像素位置。
作为进一步优选的，步骤S400中，所述直觉性约束模型为：
Figure BDA0003575104090000051
式中，θ为所求量，表示图像旋转的角度；
Figure BDA0003575104090000052
为视觉坐标系到腹腔镜相机坐标系的变换矩；X＝[1,0,0]T为操作平面中X的方向；α和β为满足和为1的常数；Qx＝[1,0,0]T为提取旋转矩阵中X方向的矩阵，Qz＝[0,0,1]T为提取旋转矩阵中Y方向的矩阵；Rz(θ)表示坐标系绕Z轴旋转θ。
作为进一步优选的，步骤S500中，所述腹腔镜位姿优化模型为：
min J(x)＝-Ws·G
s.t.f(x)＝0
h(Si,pi,x)＝0
Figure BDA0003575104090000053
式中，J(x)为评价函数，WS为器械的权重，f(x)为直觉性准则模型；h(Si,si,x)为器械尖端的三维坐标与图像像素坐标的转换关系，Si为器械尖端在腹腔镜坐标系中的三维坐标，pi为手术器械尖端在腹腔镜图像中的像素位置；D为腹腔镜满足RCM约束下的可达区域；x为腹腔镜的自由度变量。
作为进一步优选的，步骤S600中：
采用如下控制律使RCM位置误差收敛：
Figure BDA0003575104090000054
其中，[rvx,rvy]T为器械在RCM坐标系的X、Y方向的速度；λ为增益参数；
Figure BDA0003575104090000055
为RCM点到腹腔镜轴的距离向量。
通过下列公式实现对RCM位置误差的控制：
Figure BDA0003575104090000056
Figure BDA0003575104090000057
其中，[cvx,cvy]T，[cωx,cωy]T分别为腹腔镜的速度与角速度，L为腹腔镜前端点到RCM点的距离，[rvx,rvy]T为器械在RCM坐标系的X、Y方向的速度。
作为进一步优选的，步骤S600还包括以下步骤：
在直觉性约束模型的约束下，通对RCM位置误差的控制，将期望的腹腔镜末端位姿与当前腹腔镜末端位姿组合为目标位姿，并将该目标位姿转换为机器人目标位姿：
Figure BDA0003575104090000061
Figure BDA0003575104090000062
其中，
Figure BDA0003575104090000063
为腹腔镜目标位姿；
Figure BDA0003575104090000064
为腹腔镜实时位姿；
Figure BDA0003575104090000065
为机器人目标位姿；
Figure BDA0003575104090000066
为机器人基座标系到RCM坐标系的转换矩阵；
Figure BDA0003575104090000067
为腹腔镜坐标系到机器人末端坐标系的转换矩阵，
Figure BDA0003575104090000068
为腹腔镜实时位姿到目标位姿的转换矩阵。
作为进一步优选的，步骤S600中，采用如下控制律来控制机器人运动：
xi+1＝xi+Δx
Figure BDA0003575104090000069
式中，xi,xi+1为第i,i+1时刻的机器人位姿，xd为期望的机器人姿态，λ为增益参数，Δx0为速度阈值。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1.本发明结合腹腔镜手术机器人运镜策略，采用图像法对器械进行标记并获取器械的三维坐标，同时根据历史数据中器械频率图，得到器械在腹腔镜视图下关于器械位置的评价函数，以相机坐标系中X轴在视觉坐标系Y轴的投影为约束，构建腹腔镜姿态需要满足的直觉性约束模型，同时通过RCM约束以及直觉性约束模型进行双重约束，以获取最优的腹腔镜位姿，进而将该最优的腹腔镜位姿作为期望的腔镜位姿，转化为机器人末端位姿，以此方式，使得腹腔镜的运镜策略符合手术场景，使运镜策略更加符合主刀医生的意图。同时手术视频数据量充足，运镜策略获得的方法简单，该方法应用在不同种类的手术场景中，泛化能力强。
2.本发明通过对手术视频的分析，提取出符合手术场景的运镜策略，使运镜策略更加符合主刀医生的意图。同时手术视频数据量充足，运镜策略获得的方法简单，该方法应用在不同种类的手术场景中，泛化能力强。
3.本发明通过对腹腔镜图像的处理，分离出器械标记，并使用投影中交比不变的性质，估计出图像标记点的三维坐标，结合预先获得的评价函数，从而能评价出每个时刻运镜的好坏。
4.本发明提出了直觉性准则，使得腹腔镜提供的视图更加符合主刀医生操作的直觉。
5.本发明将各种约束和目标姿态统一考虑，从而保证机器人运动时刻满足约束，从而提供了安全、稳定的腹腔镜运动，保障了患者的安全。
附图说明
图1为本发明优选实施例涉及的一种基于图像经验的腹腔镜手术机器人自主运镜方法的流程图；
图2为本发明优选实施例中涉及的估计器械标记的三维坐标原理示意图；
图3为本发明优选实施例中涉及的运镜策略的流程图；
图4为本发明优选实施例中涉及的机器人运动控制流程图；
图5为本发明优选实施例中涉及的机器人控制框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明提供一种基于图像经验的腹腔镜手术机器人自主运镜方法，通过对腹腔镜图像进行处理，分离出器械标记，并采用投影方式估算图像标记点的三维坐标，同时结合历史腹腔镜手术中器械的频率分布图构建断运镜视场好坏的评价函数，根据RCM约束，提取出符合手术场景的运镜策略，使运镜策略更加符合主刀医生的意图。具体的，本发明方法包括以下步骤：
S100对器械进行标记，对腹腔镜相机进行多点标定，确定相机参数以及相机相对于机器人末端的齐次变换矩阵。
即在***工作之前，需要对器械进行标记。在本发明的一个实施例中，通过在器械上粘贴可识别的标记。当然，在本发明的其他实施例中，还可采用其他的标定形式，其能够通过相机进行识别，同时，标定的位置固定，以此方式，可精准计算器械的位置信息。
通过对器械进行标记，实现机器集合信息测量，腹腔镜相机内参标定，手眼转换矩阵标定等操作。
本发明中，腹腔镜相机内参系数：
Figure BDA0003575104090000081
其中，fx,fy为相机的焦距，[u0,v0]为相机光轴在图像坐标系的像素坐标。
腹腔镜相机畸变系数：
Figure BDA0003575104090000082
其中，[xu,yu]为畸变校正后的像素点，[xd,yd]为畸变前的像素点，[xc,yc]为畸变中心，K1,K2为径向畸变系数，P1,P2为切向畸变系数。
手眼标定转换矩阵，
Figure BDA0003575104090000091
表示相机相对于机器人末端的齐次变换矩阵：
Figure BDA0003575104090000092
其中，ctT为相机相对于机器人末端的齐次变换矩阵，
Figure BDA0003575104090000093
为旋转矩阵，
Figure BDA0003575104090000094
为位移向量，SE(3)为特殊欧几里得群。
S200在RCM约束条件下，根据腹腔镜采集得到的图像，估计器械标记的三维坐标。
本发明中，至少在器械上标记3个点，为了更精确的识别器械的末端位置，本发明中，在器械的末端进行标记，即记器械位于RCM点处的点为D点，在器械上标定A,B,C三点，且A,B,C三点的距离、空间坐标已知，A点位于器械顶端。如图2所示，A,B,C为器械标记，且距离已知，D为RCM点，其在三维空间的坐标已知。A',B',C',D'为A,B,C,D在相机图像平面上的投影点。
根据投影中交比不变的原理，可以得到：
Figure BDA0003575104090000095
Figure BDA0003575104090000096
根据相机投影方程，可以得到：
Figure BDA0003575104090000097
从而求解出器械标记A点的三维坐标A＝[XA,YA,ZA]T；
式中，[uA,vA]T为A点的像素坐标；K为投影矩阵，ZA为器械标记A点在腹腔镜坐标系中的深度，[XD,YD,ZD]T为D点的三维坐标。
本步骤中，其他跟踪A点三维坐标的方法也适用于本发明，如自监督学习的深度神经网络、基于轮廓和光流特征等方法。
S300采集得到手术场景中的器械频率图，得到器械在腹腔镜视图下关于器械位置的评价函数。将手术视频进行语义分割，抽离出器械尖端的掩膜，将抽离出的掩膜图像进行叠加，得到器械在图像上的频率分布图，使用高斯分布对器械的频率分布图进行拟合、归一化处理，得到高斯分布的参数，以器械的三位位置为输入，根据不同器械的权重，构建判断运镜视场好坏的评价函数。
具体的，如图3所示，收集某一种手术的视频数据，使用通用的语义分割方案，得到了图像中器械尖端的掩膜。将一段时间内的手术视频按一定帧数拆分为图像集，统计图像集中的器械掩膜，得到了器械在图像上的频率分布图，这代表着扶镜助手的运镜策略。使用高斯分布进行拟合，光滑频率分布图，再进行归一化，从而得到了高斯分布的参数。最终组合成以器械位置为输入，判断运镜视场好坏的评价函数：
J(x)＝-WS·G(pi) (6)
式中，J(x)为评价函数，WS为器械的权重，一般而言，为左右器械的权重，G为统计得到的高斯分布，pi为手术器械尖端在腹腔镜图像中的像素位置。
当然，在本发明实施例中，器械在图像上的频率分布图还可以通过其他算法获取，如提取器械图像的轮廓或者根据图像中器械像素的能量值分布等，其目的是为了得到历史腹腔镜手术中器械在图像上的频率分布图，以提供扶镜助手的运镜策略。
S400构建腹腔镜相机坐标系在视觉坐标系的姿态，同时，以相机坐标系中X轴在视觉坐标系Y轴的投影为约束，构建腹腔镜姿态需要满足的直觉性约束模型。
本步骤中，由于RCM约束的存在，使得腹腔镜姿态不能完全与主刀医生的视觉坐标系匹配。本发明提供了一种直觉性准则，使得腹腔镜在RCM约束下能使医生操作具有更好的直觉性。
直觉性准则如下所表示：
Figure BDA0003575104090000111
其中，θ为所求量，表示图像旋转的角度；
Figure BDA0003575104090000112
为视觉坐标系到腹腔镜相机坐标系的变换矩；X＝[1,0,0]T为操作平面中X的方向；α和β是满足和为1的常数，即α+β＝1，当腹腔镜处于不同位姿，α和β值会不一样；Qx＝[1,0,0]T为提取旋转矩阵中X方向的矩阵，Qz＝[0,0,1]T为提取旋转矩阵中Y方向的矩阵；Rz(θ)表示坐标系绕Z轴旋转θ。
S500以评价函数为目标，根据RCM约束以及直觉性约束模型，构建腹腔镜位姿优化模型，以获取最优的腹腔镜位姿。
本步骤中，基于上述所S400提出的直觉性准则，以S300中判断运镜好坏的评价函数为优化目标，考虑腹腔微创手术中的RCM约束，可以得到如下的优化问题：
Figure BDA0003575104090000113
其中，J(x)为评价函数，WS为器械的权重，f(x)为直觉性准则模型；h(Si,si,x)为器械尖端的三维坐标与图像像素坐标的转换关系，Si为器械尖端在腹腔镜坐标系中的三维坐标，pi为手术器械尖端在腹腔镜图像中的像素位置；D为腹腔镜满足RCM约束下的可达区域；x为腹腔镜的自由度变量。
使用启发式算法，可以得到该优化问题的解，解所反映的腹腔镜位姿即为符合运镜策略的位姿。
S600将最优的腹腔镜位姿作为期望的腔镜位姿，并将该期望的腔镜位姿转化为机器人末端位姿。如图1和图4所示，在完成优化求解之后，需要使用控制策略使腹腔镜平稳地抵达期望姿态，
求解得到了期望的腹腔镜姿态，通过S100中获得手眼转换矩阵，可以得到期望的机器人末端姿态。为了保证机器人运动不会对患者造成损害，本发明使用如下控制律使RCM位置误差收敛：
Figure BDA0003575104090000121
其中，[rvx,rvy]T为器械在RCM坐标系的X、Y方向的速度；λ为增益参数；
Figure BDA0003575104090000122
为RCM点到腹腔镜轴的距离向量。
此外，本步骤中，通过下列公式实现对RCM位置误差的控制：
Figure BDA0003575104090000123
其中，[cvx,cvy]T，[cωx,cωy]T分别为腹腔镜的速度与角速度，L为腹腔镜前端点到RCM点的距离，[rvx,rvy]T为器械在RCM坐标系的X、Y方向的速度。
使用直觉性准则约束来保证运镜过程符合主刀医生的直觉。
在本发明的一个优选实施例中，在直觉性约束模型的约束下，通对RCM位置误差的控制，将期望的腹腔镜末端位姿与当前腹腔镜末端位姿组合为目标位姿，并将该目标位姿转换为机器人目标位姿：
Figure BDA0003575104090000124
其中，
Figure BDA0003575104090000131
为腹腔镜目标位姿；
Figure BDA0003575104090000132
为腹腔镜实时位姿；
Figure BDA0003575104090000133
为机器人目标位姿；
Figure BDA0003575104090000134
为机器人基座标系到RCM坐标系的转换矩阵；
Figure BDA0003575104090000135
为腹腔镜坐标系到机器人末端坐标系的转换矩阵，
Figure BDA0003575104090000136
为腹腔镜实时位姿到目标位姿的转换矩阵。
如图5所示，为了避免运镜过于频繁以引起主刀医生的不适，同时控制运镜速度，本发明使用如下控制律来控制机器人运动：
xi+1＝xi+Δx
Figure BDA0003575104090000137
其中，xi,xi+1为第i,i+1时刻的机器人位姿，xd为期望的机器人姿态，λ为增益参数，Δx0为所设定的速度阈值，用以防止腹腔镜速度过快。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，包括以下步骤：
S100对器械进行标记，对腹腔镜相机进行多点标定，确定相机参数以及相机相对于机器人末端的齐次变换矩阵；
S200在RCM约束条件下，根据腹腔镜采集得到的图像，估计器械标记的三维坐标；
S300采集得到手术场景中的器械频率图，得到器械在腹腔镜视图下关于器械位置的评价函数；
S400构建腹腔镜相机坐标系在视觉坐标系的姿态，同时，以相机坐标系中X轴在视觉坐标系Y轴的投影为约束，构建腹腔镜姿态需要满足的直觉性约束模型；
S500以评价函数为目标，根据RCM约束以及直觉性约束模型，构建腹腔镜位姿优化模型，以获取最优的腹腔镜位姿；
S600将最优的腹腔镜位姿作为期望的腔镜位姿，并将该期望的腔镜位姿转化为机器人末端位姿。
2.根据权利要求1所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S100中，所述相机参数包括腹腔镜相机内参系数以及腹腔镜相机畸变系数；
优选的，所述腹腔镜相机内参系数如下：
Figure FDA0003575104080000011
式中，fx,fy为相机的焦距，[u0,v0]为相机光轴在图像坐标系的像素坐标；
优选的，所述腹腔镜相机畸变系数如下：
xu＝xd+(xd-xc)(K1r2+K2r4)+P1(r2+2(xd-xc)2)+2P2(xd-xc)(yd-yc)
yu＝yd+(yd-yc)(K1r2+K2r4)+P2(r2+2(yd-yc)2)+2P1(xd-xc)(yd-yc)
式中，[xu,yu]为畸变校正后的像素点，[xd,yd]为畸变前的像素点，[xc,yc]为畸变中心，K1,K2为径向畸变系数，P1,P2为切向畸变系数。
3.根据权利要求1所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S100中，采用手眼标定转换矩阵来构建相机相对于机器人末端的齐次变换矩阵，所述齐次变换矩阵的计算模型如下：
Figure FDA0003575104080000021
式中，
Figure FDA0003575104080000022
为相机相对于机器人末端的齐次变换矩阵，
Figure FDA0003575104080000023
为旋转矩阵，
Figure FDA0003575104080000024
为位移向量，SE(3)为特殊欧几里得群。
4.根据权利要求1所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S200中，记器械位于RCM点处的点为D点，在器械上标定A,B,C三点，且A,B,C三点的距离、空间坐标已知，A点位于器械顶端；
分别获取A,B,C,D在相机图像平面上的投影点A',B',C',D'；
根据投影中交比不变的原理，可以得到：
Figure FDA0003575104080000025
Figure FDA0003575104080000026
根据相机投影方程，可以得到：
Figure FDA0003575104080000027
从而求解出器械标记A点的三维坐标A＝[XA,YA,ZA]T；
式中，[uA,vA]T为A点的像素坐标；K为投影矩阵，ZA为器械标记A点在腹腔镜坐标系中的深度。
5.根据权利要求1所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S300具体包括以下步骤：
S31将手术视频进行语义分割，抽离出器械尖端的掩膜；
S32将抽离出的掩膜图像进行叠加，得到器械在图像上的频率分布图；
S33使用高斯分布对器械的频率分布图进行拟合、归一化处理，得到高斯分布的参数；
S34以器械的三位位置为输入，根据不同器械的权重，构建判断运镜视场好坏的评价函数；
优选的，所述评价函数为：
J(x)＝-WS·G(pi)。
式中，J(x)为评价函数，WS为器械的权重，G为统计得到的高斯分布，pi为手术器械尖端在腹腔镜图像中的像素位置。
6.根据权利要求1所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S400中，所述直觉性约束模型为：
Figure FDA0003575104080000031
式中，θ为图像旋转的角度；
Figure FDA0003575104080000032
为视觉坐标系到腹腔镜相机坐标系的变换矩；X＝[1,0,0]T为操作平面中X的方向；α和β为满足和为1的常数；Qx＝[1,0,0]T为提取旋转矩阵中X方向的矩阵，Qz＝[0,0,1]T为提取旋转矩阵中Y方向的矩阵；Rz(θ)表示坐标系绕Z轴旋转θ。
7.根据权利要求1所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S500中，所述腹腔镜位姿优化模型为：
min J(x)＝-Ws·G(pi)
s.t.f(x)＝0
h(Si,pi,x)＝0
Figure FDA0003575104080000041
式中，J(x)为评价函数，WS为器械的权重，f(x)为直觉性准则模型；h(Si,si,x)为器械尖端的三维坐标与图像像素坐标的转换关系，Si为器械尖端在腹腔镜坐标系中的三维坐标，pi为手术器械尖端在腹腔镜图像中的像素位置；D为腹腔镜满足RCM约束下的可达区域；x为腹腔镜的自由度变量。
8.根据权利要求1-7任一项所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S600中：
采用如下控制律使RCM位置误差收敛：
Figure FDA0003575104080000042
其中，[rvx,rvy]T为器械在RCM坐标系的X、Y方向的速度；λ为增益参数；
Figure FDA0003575104080000043
为RCM点到腹腔镜轴的距离向量。
通过下列公式实现对RCM位置误差的控制：
Figure FDA0003575104080000044
Figure FDA0003575104080000045
其中，[cvx,cvy]T，[cωx,cωy]T分别为腹腔镜的速度与角速度，L为腹腔镜前端点到RCM点的距离，[rvx,rvy]T为器械在RCM坐标系的X、Y方向的速度。
9.根据权利要求8所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S600还包括以下步骤：
在直觉性约束模型的约束下，通对RCM位置误差的控制，将期望的腹腔镜末端位姿与当前腹腔镜末端位姿组合为目标位姿，并将该目标位姿转换为机器人目标位姿：
Figure FDA0003575104080000051
Figure FDA0003575104080000052
其中，
Figure FDA0003575104080000053
为腹腔镜目标位姿；
Figure FDA0003575104080000054
为腹腔镜实时位姿；
Figure FDA0003575104080000055
为机器人目标位姿；
Figure FDA0003575104080000056
为机器人基座标系到RCM坐标系的转换矩阵；
Figure FDA0003575104080000057
为腹腔镜坐标系到机器人末端坐标系的转换矩阵，
Figure FDA0003575104080000058
为腹腔镜实时位姿到目标位姿的转换矩阵。
10.根据权利要求1-8任一项所述的一种基于图像经验的腹腔镜手术机器人自主运镜方法，其特征在于，步骤S600中，采用如下控制律来控制机器人运动：
xi+1＝xi+Δx
Figure FDA0003575104080000059
式中，xi,xi+1为第i,i+1时刻的机器人位姿，xd为期望的机器人姿态，λ为增益参数，Δx0为速度阈值。
CN202210338000.7A 2022-03-31 2022-03-31 一种基于图像经验的腹腔镜手术机器人自主运镜方法 Pending CN114748169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210338000.7A CN114748169A (zh) 2022-03-31 2022-03-31 一种基于图像经验的腹腔镜手术机器人自主运镜方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210338000.7A CN114748169A (zh) 2022-03-31 2022-03-31 一种基于图像经验的腹腔镜手术机器人自主运镜方法

Publications (1)

Publication Number Publication Date
CN114748169A true CN114748169A (zh) 2022-07-15

Family

ID=82329880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210338000.7A Pending CN114748169A (zh) 2022-03-31 2022-03-31 一种基于图像经验的腹腔镜手术机器人自主运镜方法

Country Status (1)

Country Link
CN (1) CN114748169A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117103286A (zh) * 2023-10-25 2023-11-24 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、***和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117103286A (zh) * 2023-10-25 2023-11-24 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、***和可读存储介质
CN117103286B (zh) * 2023-10-25 2024-03-19 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、***和可读存储介质

Similar Documents

Publication Publication Date Title
US20230107693A1 (en) Systems and methods for localizing, tracking and/or controlling medical instruments
US10888248B2 (en) Determining position of medical device in branched anatomical structure
US8792963B2 (en) Methods of determining tissue distances using both kinematic robotic tool position information and image-derived position information
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
CN102791214B (zh) 采用实时速度优化的不经校准的视觉伺服
CN112641514B (zh) 一种微创介入导航***与方法
US20230000565A1 (en) Systems and methods for autonomous suturing
US20090088773A1 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US11284777B2 (en) Robotic control of an endoscope from anatomical features
Soper et al. In vivo validation of a hybrid tracking system for navigation of an ultrathin bronchoscope within peripheral airways
CN113143461B (zh) 人机协同的微创内窥镜持镜机器人***
US20230346479A1 (en) Alerting and mitigating divergence of anatomical feature locations from prior images to real-time interrogation
CN107049496A (zh) 一种多任务手术机器人的视觉伺服控制方法
US20230030343A1 (en) Methods and systems for using multi view pose estimation
CN114748169A (zh) 一种基于图像经验的腹腔镜手术机器人自主运镜方法
Yang et al. Autonomous laparoscope control for minimally invasive surgery with intuition and RCM constraints
CN112315582B (zh) 一种手术器械的定位方法、***及装置
Cabras et al. Comparison of methods for estimating the position of actuated instruments in flexible endoscopic surgery
Doignon et al. The role of insertion points in the detection and positioning of instruments in laparoscopy for robotic tasks
US20220354380A1 (en) Endoscope navigation system with updating anatomy model
CN114496197A (zh) 内窥镜图像注册***和方法
Sa-Ing et al. Object tracking for laparoscopic surgery using the adaptive mean-shift kalman algorithm
CN113470184A (zh) 内窥镜增强现实误差补偿方法及装置
Deguchi et al. A method for bronchoscope tracking using position sensor without fiducial markers
US10984585B2 (en) Systems, methods, and computer-readable media for automatic computed tomography to computed tomography registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination