CN114209435B - 包含预测与滤波的间接手术机器人远程控制方法 - Google Patents
包含预测与滤波的间接手术机器人远程控制方法 Download PDFInfo
- Publication number
- CN114209435B CN114209435B CN202210040019.3A CN202210040019A CN114209435B CN 114209435 B CN114209435 B CN 114209435B CN 202210040019 A CN202210040019 A CN 202210040019A CN 114209435 B CN114209435 B CN 114209435B
- Authority
- CN
- China
- Prior art keywords
- slave
- master
- hand
- slave hand
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims abstract description 3
- 238000012546 transfer Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000002324 minimally invasive surgery Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 208000035475 disorder Diseases 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
- G05B13/024—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
- H04Q2209/82—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
- H04Q2209/84—Measuring functions
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Molecular Biology (AREA)
- Automation & Control Theory (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Veterinary Medicine (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种包含预测与滤波的间接手术机器人远程控制方法,其解决微创手术机器人远程手术过程中,数据传输过程存在数据包乱序、延迟的技术问题,主控制器通过主从运动映射算法将主手动作指令转换为从手的关节运动信息,主控制器将从手的关节运动信息经互联网发送至从手;从手的从端控制器对接收到的关节运动信息数据进行校验、滤波、运动解算,然后控制从手各个关节的电机工作;从手各个关节上的传感器采集的信号直接反馈到从手的从端控制器。本发明广泛用于微创手术机器人。
Description
技术领域
本发明涉及内窥镜微创手术机器人技术领域,具体而言,涉及一种包含预测与滤波的间接手术机器人远程控制方法。
背景技术
微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备进行的手术。与传统的开放手术相比,微创手术具有创口小、疼痛轻、术中出血量少、术后恢复快、感染风险低等优势,因此在外科手术领域得到了广泛的认可与应用。但是现有的手术机器人也有它的局限性,就是医生无法操控手术机器人对病人进行异地手术。
随着现代网络技术的发展,手术机器人远程操控技术的引入可以有效解决这些问题。手术机器人远程操控技术的出现弥补机器人操控距离上的问题,主要表现在保持手术机器人运动精度高,可对病灶区域进行精准定位操作;具有良好的稳定性,消除医生手部抖动,防止出现误操作;手眼协调一致性,降低操作难度,提升了手术安全性;消除了医生长时间站立的疲劳感,等基础上还具有医生可对病人异地手术的优点。
参考授权公告号为CN109091237B,名称为微创手术器械辅助***的中国发明专利以及授权公告号为CN109091238B、名称为分体式微创手术器械辅助***的中国发明专利,以及授权公告号为CN210872029U、名称为医生操作台的实用新型专利,以及申请公布号为CN112370168A、名称为微创手术机器人***的发明专利申请,微创手术器机器人被设计为在内窥镜下,由医生在手术室内操作,控制手术器械做手术的设备***。医生坐在医生操作台前,通过观看3D影像显示器,操作医生机械臂,医生可如同平常手术般,利用患者机械臂精准的控制手术器械执行各种手术动作。
现有微创手术机器人***,医生通过手持多自由度的机械式运动输入装置来输出动作指令,通过主从运动映射算法,可以将采集到的动作之指令转换为机械臂的关节运动信息,从机械臂跟随主机械臂的运动。现有技术的主从映射算法可以参考公开号为CN112716608A,名称为用于微创手术机器人的主从跟踪控制方法的发明专利申请。
目前,异地远程手术是微创手术机器人的一种应用,远程手术融合了机器人技术、通讯技术、远程控制技术、空间映射算法以及容错性分析等关键技术。医生根据手术需求操作主机械臂;主机械臂的各关节传感器的信号经实时采集并处理后输出,经过主端通讯控制器将数据包进行封装后,经由专用互联网发送至从机械臂,从机械臂的从端控制器对接收到的数据包进行校验、滤波后发送到从机械臂的运动控制器,在运动控制器中进行运动解算,最终从机械臂的各个关节所期望的位置输入到各个电机的驱动器,进而控制从机械臂完成医生期望的动作。
互联网不仅有着复杂的物理线路,同时也存在复杂的协议族、校验机制以及网络安全机制。网络延时主要取决于传输距离和数据传输所经过的物理链路,包括经过路由器个数和路由处理时间。固定传输节点的传输路线和路由线路通常是一定的,但由于网络存在共享和竞争性,路由处理时间和处理任务是变化的,且不同时刻数据包在路由上的等待时间和处理时间也是随机变化的,因此会产生数据包乱序、延迟等问题。因此,为满足手术操作稳定性、精确性的严苛要求,如何解决数据包乱序、延迟问题是本领域技术人员亟待解决的技术问题。
发明内容
本发明就是为了解决微创手术机器人远程手术过程中,数据传输过程存在数据包乱序、延迟的技术问题,提供了一种采用专用网络并通过延时补偿和滤波来解决数据传输波动,确保机器人运行的稳定性和精确性的包含预测与滤波的间接手术机器人远程控制方法。
本发明公开的包含预测与滤波的间接手术机器人远程控制方法,包括以下步骤:
主控制器通过主从运动映射算法将主手动作指令转换为从手的关节运动信息,主控制器将从手的关节运动信息经互联网发送至从手;
从手的从端控制器对接收到的关节运动信息数据进行校验、滤波、运动解算,然后控制从手各个关节的电机工作;
从手各个关节上的传感器采集的信号直接反馈到从手的从端控制器,控制***的闭环传递函数为:
上式中,延时e-τ ca s表示互联网传输过程中的延迟,Y(s)表示输出响应,R(s)表示输入指令,C(s)是从端控制器对指令内部相应时间;G(s)表示控对象传递函数;Gm(s)是预测滤波函数,预测滤波函数用于基于当前网络状态针对控制指令设定缓存。
本发明的有益效果是,消除信号远程传输过程中数据包的乱序、延迟,有利于确保机器人运行的稳定性和精确性。
本发明进一步的特征和方面,将在以下参考附图的具体实施方式的描述中,得以清楚地记载。
附图说明
图1是本发明远程控制方法流程图;
图2是现有技术远程数据传输原理图;
图3是图2所示远程数据传输的闭环传递函数;
图4是本发明间接远程控制方法的原理图;
图5是本发明间接远程控制方法的闭环传递函数;
图6是未经过预测滤波的主从跟踪实验得出的曲线图;
图7是经过预测滤波的主从跟踪实验得出的曲线图;
图8是用Socket套字节完成通信协议原理图;
图9是远程控制流程图。
具体实施方式
微创手术机器人***的运动学计算分为主手运动学计算和从手运动学计算。主手运动学计算涉及到正向运动学,即对于主机械臂,已知连杆几何参数和关节变量,求主机械臂末端相对于参考坐标系的位置和姿态;从手运动学计算涉及到逆向运动学,即已知从机械臂连杆的几何参数,给定从机械臂末端相对于参考坐标系的期望位置和姿态,求从机械臂到达预期姿态的关节变化量。
参考图2,目前常规的数据远程传输过程中,主端通讯控制器发出的控制信号和从机械臂中传感器反馈的信号都是通过网络传输,并且传输的网络没有限制,而且可以是两个相互独立的网络分别对两种信号进行传输。参考图3,传感器节点信息反馈采用事件驱动,执行器与控制器C1(s)基于事件驱动,D(s)为阶跃干扰信号,τca代表控制器-执行器延时,τsc代表与传感器-控制器延时,网络控制***闭环传递函数为:
闭环特征方程为:
该***特征方程中存在延时指数项,导致相位滞后,调节时间增加,超调量增加,影响***稳定性与控制性能,甚至造成***故障。
由于网络延时具有时变特点,机器人主操作手位姿数据在网络传输过程中会产生数据包的丢失、滞后或乱序。
为消除网络传输的影响,本发明公开了包含预测与滤波的间接手术机器人远程控制方法。如图4所示,间接控制结构的远程端是一个独立的闭环控制***,传感器(具体是指从机械臂中各关节上安装的编码器,编码器采集关节实际转动角度)采集的执行器信号直接反馈到远程端的控制***中,不再反馈到主手的主控制器中,减小网络对信号传输的影响,主控制器只需要将参考信号传输到远程端,远程端可以反馈视频或者传感器信号。如图5所示,已知被控对象传递函数G(s),预测滤波函数Gm(s),网络传输过程中只存在主端到从端的延时e-τ ca s,无从端到主端延时e-τ sc s,控制***的闭环传递函数为:
上式中,预测滤波函数Gm(s)是一种控制指令预测,使控制指令相位小幅度前移的一种算法,预测滤波函数Gm(s)的工作原理是控制器基于当前网络状态针对控制指令设定缓存;Y(s)表示输出响应,R(s)表示输入指令,C(s)是远程控制器对某一指令内部相应时间。
预测滤波函数Gm(s)能够大幅降低主端到从端的延时e-τ ca s,甚至可以完全消除主端到从端的延时e-τ ca s。假设预测滤波函数Gm(s)可以完全消除e-τ ca s的影响,则控制***的闭环传递函数可以转换为:
该***只存在网络延时τca,不存在延时τsc,经过预测滤波之后可以消除网路延时的影响;然而由于网络延时的随机性,预测滤波函数Gm(s)不可能完全消除e-τ ca s的影响,在网络延迟较大时存在一定误差。
为满足远程手术操作要求,需要对拟采用的方法进行测试与验证。为定量分析预测滤波算法实用性,搭建远程操作仿真平台,并在主从跟踪***中随机引入10-30ms延时,图6为未经过预测滤波的主从跟踪实验,黑色曲线表示主手传感器关节数据变化曲线,红色曲线表示从手电机关节编码器数据变化曲线;可以看出,其主从控制一致性、控制精度较好,但从手滞后严重,通过最小二乘法计算得到延时约为30-40ms。图7是经过预测滤波的主从跟踪实验,延时情况明显降低,预测滤波后延时约为10ms,极大的缓解了从手的滞后特性。当主手运动频率低于8Hz范围内时,预测效果良好,随着主手运动频率继续增加,预测效果逐渐下降。由于人手的运动频率约为0.3-4.5Hz,所以该算法能够有效提升远程手术操作效果。
远程控制***采用Socket套字节完成通信协议,原理如图8所示。为保障远程控制的可靠性,基于TCP协议实现运输层,在网络阻塞发生丢包现象时,直接接收下一组数据包。
数据包主要包括对主手关节位置的数据采集、数据封装、网络传输、去除纹波(包含白噪声和由于网络延时所导致的数据包乱序)、最终发送至从手端的控制器,实现机器人从手末端对主手的准确跟踪,整体过程如图9所示。
每次发送数据包为52个字节,其中帧头帧尾共占4个字节,校验值占两个字节,控制信号占44个字节。数据包检验采用cyclic redundancy check(CRC)校验,帧头、帧尾以及帧长校验可保证数据帧的独立性和完整性,而CRC校验则能实现对数据帧信息码的差错冗余校验,从而保证数据帧信息的正确性,数据包帧格式如下表所示。
以上所述仅对本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。
Claims (1)
1.一种包含预测与滤波的间接手术机器人远程控制方法,其特征在于,包括以下步骤:
主控制器通过主从运动映射算法将主手动作指令转换为从手的关节运动信息,主控制器将从手的关节运动信息经互联网发送至从手;
从手的从端控制器对接收到的关节运动信息数据进行校验、滤波、运动解算,然后控制从手各个关节的电机工作;
从手各个关节上的传感器采集的信号直接反馈到从手的从端控制器,控制***的闭环传递函数为:
上式中,延时e-τ ca s表示互联网传输过程中的延迟,Y(s)表示输出响应,R(s)表示输入指令,C(s)是从端控制器对指令内部响应时间;G(s)表示被控对象传递函数;Gm(s)是预测滤波函数,预测滤波函数用于基于当前网络状态针对控制指令设定缓存。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210040019.3A CN114209435B (zh) | 2022-01-14 | 2022-01-14 | 包含预测与滤波的间接手术机器人远程控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210040019.3A CN114209435B (zh) | 2022-01-14 | 2022-01-14 | 包含预测与滤波的间接手术机器人远程控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114209435A CN114209435A (zh) | 2022-03-22 |
CN114209435B true CN114209435B (zh) | 2024-03-22 |
Family
ID=80708211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210040019.3A Active CN114209435B (zh) | 2022-01-14 | 2022-01-14 | 包含预测与滤波的间接手术机器人远程控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114209435B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6144884A (en) * | 1998-04-17 | 2000-11-07 | Massachusetts Institute Of Technology | Teleoperation with variable delay |
CN104440864A (zh) * | 2014-12-04 | 2015-03-25 | 深圳先进技术研究院 | 一种主从式遥操作工业机器人***及其控制方法 |
JP2018018131A (ja) * | 2016-07-25 | 2018-02-01 | 三菱電機株式会社 | モーション制御システム |
JP2019217557A (ja) * | 2018-06-15 | 2019-12-26 | 株式会社東芝 | 遠隔操作方法及び遠隔操作システム |
CN112417755A (zh) * | 2020-11-10 | 2021-02-26 | 西安工程大学 | 一种主从式手术机器人轨迹预测控制方法 |
CN112716608A (zh) * | 2021-01-20 | 2021-04-30 | 山东威高手术机器人有限公司 | 用于微创手术机器人的主从跟踪控制方法 |
-
2022
- 2022-01-14 CN CN202210040019.3A patent/CN114209435B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6144884A (en) * | 1998-04-17 | 2000-11-07 | Massachusetts Institute Of Technology | Teleoperation with variable delay |
CN104440864A (zh) * | 2014-12-04 | 2015-03-25 | 深圳先进技术研究院 | 一种主从式遥操作工业机器人***及其控制方法 |
JP2018018131A (ja) * | 2016-07-25 | 2018-02-01 | 三菱電機株式会社 | モーション制御システム |
JP2019217557A (ja) * | 2018-06-15 | 2019-12-26 | 株式会社東芝 | 遠隔操作方法及び遠隔操作システム |
CN112417755A (zh) * | 2020-11-10 | 2021-02-26 | 西安工程大学 | 一种主从式手术机器人轨迹预测控制方法 |
CN112716608A (zh) * | 2021-01-20 | 2021-04-30 | 山东威高手术机器人有限公司 | 用于微创手术机器人的主从跟踪控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114209435A (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11596490B2 (en) | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose | |
CN110559082B (zh) | 手术机器人及其机械臂的控制方法、控制装置 | |
JP6598401B2 (ja) | 位置・力制御装置、位置・力制御方法及びプログラム | |
Butner et al. | Transforming a surgical robot for human telesurgery | |
US20200367984A1 (en) | Robotic surgical systems including torque sensors | |
CN112716608B (zh) | 用于微创手术机器人的主从跟踪控制方法 | |
WO2019241655A1 (en) | User input device for use in robotic surgery | |
WO2017169649A1 (ja) | 医療用観察装置、駆動制御方法、医療用観察システム及び支持アーム装置 | |
CN114129266B (zh) | 保持rc点不变的方法、机械臂、设备、机器人和介质 | |
CN114209435B (zh) | 包含预测与滤波的间接手术机器人远程控制方法 | |
Ren et al. | A master-slave control system with workspaces isomerism for teleoperation of a snake robot | |
CN114098981A (zh) | 一种双臂协作的头颈部辅助牵拉手术机器人及其控制方法 | |
Kapoor et al. | Telemanipulation of snake-like robots for minimally invasive surgery of the upper airway | |
EP4277564A1 (en) | Surgical robotic system with velocity limits | |
CN111132630B (zh) | 包括双编码器的机器人手术***控制臂 | |
Wang et al. | Elimination method of Master-Slave Jitter for laparoscope arm | |
US20230210613A1 (en) | Surgical robotic system with motion integration | |
Gnani et al. | EdgeP4: In-Network Edge Intelligence for a Tactile Cyber-Physical System Testbed Across Cities | |
Liu et al. | Study on the Master-slave Control System of the Fracture Reduction Surgery | |
WO2022155066A1 (en) | Distributed safety network | |
CN118303982A (zh) | 基于力交互的机器人远心运动控制方法、***及存储介质 | |
CN118021441A (zh) | 一种主机械手及手术机器人的运动学模型的计算方法 | |
JPH0871071A (ja) | 手術用マニピュレータシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |