CN117860382B - 基于lstm的导航手术机械臂视觉伺服位姿预测pd控制方法 - Google Patents
基于lstm的导航手术机械臂视觉伺服位姿预测pd控制方法 Download PDFInfo
- Publication number
- CN117860382B CN117860382B CN202410002423.0A CN202410002423A CN117860382B CN 117860382 B CN117860382 B CN 117860382B CN 202410002423 A CN202410002423 A CN 202410002423A CN 117860382 B CN117860382 B CN 117860382B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- pose
- lstm
- target
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001356 surgical procedure Methods 0.000 title claims description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000013519 translation Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Manipulator (AREA)
Abstract
本申请提供了一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法、装置、设备及计算机可读存储介质。该方法，包括：建立导航模型；离线采集病灶靶区旋转平移数据；将病灶靶区数据输入LSTM进行模型训练，得到预测模型；在线病灶靶区数据输入预测模型，生成下一时刻预测结果；将下一时刻预测结果输入导航模型，生成机械臂下一时刻目标位姿；将机械臂当前目标位姿、机械臂下一时刻目标位姿，共同输入PD控制器，输出机械臂末端位姿控制量；基于机械臂末端位姿控制量，控制机械臂跟随目标靶区移动。根据本申请实施例，能够提高机械臂动态跟随的响应速度、减小跟随时延与误差，有效提高穿刺任务精度与稳定性。
Description
技术领域
本申请属于机械臂控制技术领域，尤其涉及一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法、装置、设备及计算机可读存储介质。
背景技术
在一类导航手术机器人中，在进行定位穿刺任务时，病灶与机械臂末端装有视觉标记物，利用视觉传感器完成图像空间的导航，穿刺任务开始前，利用视觉伺服关系完成机械臂工具对靶区的定位，任务开始后继续依靠视觉伺服关系与控制算法控制机械臂完成工具对靶区的动态跟随；动态跟随的效果极大的影响着穿刺任务的精度。
因此，如何提高机械臂动态跟随的响应速度、减小跟随时延与误差，有效提高穿刺任务精度与稳定性是本领域技术人员亟需解决的技术问题。
发明内容
申请实施例提供一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法、装置、设备及计算机可读存储介质，能够提高机械臂动态跟随的响应速度、减小跟随时延与误差，有效提高穿刺任务精度与稳定性。
第一方面，本申请实施例提供一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，包括：
建立导航模型；
离线采集病灶靶区旋转平移数据；
将病灶靶区数据输入LSTM进行模型训练，得到预测模型；
在线病灶靶区数据输入预测模型，生成下一时刻预测结果；
将下一时刻预测结果输入导航模型，生成机械臂下一时刻目标位姿；
将机械臂当前目标位姿、机械臂下一时刻目标位姿，共同输入PD控制器，输出机械臂末端位姿控制量；
基于机械臂末端位姿控制量，控制机械臂跟随目标靶区移动。
可选的，建立导航模型，包括：
获取目标末端法兰相较于当前法兰的相对转换矩阵；
建立机械臂动态跟踪目标靶区的误差矩阵。
可选的，获取目标末端法兰相较于当前法兰的相对转换矩阵，包括：
获取靶区在视觉传感器下的位姿转换矩阵；
建立靶区在机械臂工具下的位姿转换矩阵；
基于靶区在机械臂工具下的位姿转换矩阵，获取目标末端法兰相较于当前法兰的相对转换矩阵。
可选的，将病灶靶区数据输入LSTM进行模型训练，得到预测模型，包括：
LSTM的网络包括：输入层、中间的隐藏层和输出层；
其中，输入层节点分别表示位姿向量元素的时间序列；
中间的隐藏层有两层，每层节点间进行全连接；
输出层节点分别表示下一时刻的位姿。
可选的，计算输出层节点的输出向量，包括：
分别获取隐藏层的输入状态、输出状态和权重矩阵；
基于隐藏层的输入状态、输出状态和权重矩阵，计算输出层节点的输出向量。
可选的，获取机械臂当前目标位姿，包括：
计算机械臂携带工具到目标病灶靶区的期望位置；
获取当前位置增量；
基于期望位置和当前位置增量，计算机械臂当前目标位姿。
可选的，获取机械臂下一时刻目标位姿，包括：
将下一时刻病灶靶区位姿输入导航模型，得到机械臂法兰位姿；
基于机械臂法兰位姿和当前位置增量，计算机械臂下一时刻目标位姿。
第二方面，本申请实施例提供了一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制装置，包括：
模型建立模块，用于建立导航模型；
数据采集模块，用于离线采集病灶靶区旋转平移数据；
模型训练模块，用于将病灶靶区数据输入LSTM进行模型训练，得到预测模型；
预测结果生成模块，用于在线病灶靶区数据输入预测模型，生成下一时刻预测结果；
目标位姿生成模块，用于将下一时刻预测结果输入导航模型，生成机械臂下一时刻目标位姿；
位姿控制量输出模块，用于将机械臂当前目标位姿、机械臂下一时刻目标位姿，共同输入PD控制器，输出机械臂末端位姿控制量；
机械臂控制模块，用于基于机械臂末端位姿控制量，控制机械臂跟随目标靶区移动。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法。
本申请实施例的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法、装置、设备及计算机可读存储介质，能够提高机械臂动态跟随的响应速度、减小跟随时延与误差，有效提高穿刺任务精度与稳定性。
该基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，包括：建立导航模型；离线采集病灶靶区旋转平移数据；将病灶靶区数据输入LSTM进行模型训练，得到预测模型；在线病灶靶区数据输入预测模型，生成下一时刻预测结果；将下一时刻预测结果输入导航模型，生成机械臂下一时刻目标位姿；将机械臂当前目标位姿、机械臂下一时刻目标位姿，共同输入PD控制器，输出机械臂末端位姿控制量；基于机械臂末端位姿控制量，控制机械臂跟随目标靶区移动。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法的流程示意图；
图2是本申请一个实施例提供的LSTM网络结构示意图；
图3是本申请一个实施例提供的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制装置的结构示意图；
图4是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法、装置、设备及计算机可读存储介质。下面首先对本申请实施例所提供的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法进行介绍。
图1示出了本申请一个实施例提供的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法的流程示意图。如图1所示，该基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，包括：
S101、建立导航模型；
在一个实施例中，建立导航模型，包括：
获取目标末端法兰相较于当前法兰的相对转换矩阵；
建立机械臂动态跟踪目标靶区的误差矩阵。
在一个实施例中，获取目标末端法兰相较于当前法兰的相对转换矩阵，包括：
获取靶区在视觉传感器下的位姿转换矩阵；
建立靶区在机械臂工具下的位姿转换矩阵；
基于靶区在机械臂工具下的位姿转换矩阵，获取目标末端法兰相较于当前法兰的相对转换矩阵。
具体的，靶区在视觉传感器下的位姿为为病灶坐标系，tool为工具坐标系。当前的机械臂工具与靶区的关系为：；上述转换矩阵皆可由视觉传感器读取视觉标记物数据来获取。由此可以的到目标末端法兰相较于当前法兰的相对转换矩阵为：;其中/>为机械臂末端法兰与末端工具刚性不变的连接关系描述转换矩阵，为同一矩阵。由此建立了机械臂动态跟踪目标靶区的误差矩阵/>；将其转换为向量形式/>。
S102、离线采集病灶靶区旋转平移数据；
S103、将病灶靶区数据输入LSTM进行模型训练，得到预测模型；
在一个实施例中，将病灶靶区数据输入LSTM进行模型训练，得到预测模型，包括：
LSTM的网络包括：输入层、中间的隐藏层和输出层；
其中，输入层节点分别表示位姿向量元素的时间序列；
中间的隐藏层有两层，每层节点间进行全连接；
输出层节点分别表示下一时刻的位姿。
在一个实施例中，计算输出层节点的输出向量，包括：
分别获取隐藏层的输入状态、输出状态和权重矩阵；
基于隐藏层的输入状态、输出状态和权重矩阵，计算输出层节点的输出向量。
具体的，如图2所示，靶区动作的LSTM回归估计：
病灶的运动位姿回归估计使用LSTM（长短期记忆网络），利用离线采集的视觉标记物移动的数据对LSTM网络进行训练，在线数据带入产生预测位姿数据，网络结构如下：输入层节点分别表示位姿向量元素的时间序列
其中m为时序数据窗口滑动宽度，输出层六个节点分别表示下一时刻的位姿，中间隐藏层有两层LSTM-cell构成，每层包含12个节点，每层节点间进行全连接，激活函数使用ReLU：
其中输出向量计算迭代计算公式为：
式中h为隐藏层输入状态、by为输出向量，W为权重矩阵。损失函数定义如下
代表当前网络输出的对下一时刻的估计值。
S104、在线病灶靶区数据输入预测模型，生成下一时刻预测结果；
S105、将下一时刻预测结果输入导航模型，生成机械臂下一时刻目标位姿；
S106、将机械臂当前目标位姿、机械臂下一时刻目标位姿，共同输入PD控制器，输出机械臂末端位姿控制量；
在一个实施例中，获取机械臂当前目标位姿，包括：
计算机械臂携带工具到目标病灶靶区的期望位置；
获取当前位置增量；
基于期望位置和当前位置增量，计算机械臂当前目标位姿。
在一个实施例中，获取机械臂下一时刻目标位姿，包括：
将下一时刻病灶靶区位姿输入导航模型，得到机械臂法兰位姿；
基于机械臂法兰位姿和当前位置增量，计算机械臂下一时刻目标位姿。
具体的， 基于LSTM的PD机械臂跟踪控制器：
其中u为机械臂控制输出为根据导航原理所计算出的趋势机械臂携带工具到目标病灶靶区的期望位置，/>为当前位置增量，/>为LSTM网络根据前m时刻所回归预测出的下一时刻病灶靶区位姿带入导航计算模型得到的机械臂法兰位姿。为控制器参数。
S107、基于机械臂末端位姿控制量，控制机械臂跟随目标靶区移动。
图3示出了本申请实施例提供的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制装置的结构示意图。如图3所示，该基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制装置，包括：
模型建立模块301，用于建立导航模型；
数据采集模块302，用于离线采集病灶靶区旋转平移数据；
模型训练模块303，用于将病灶靶区数据输入LSTM进行模型训练，得到预测模型；
预测结果生成模块304，用于在线病灶靶区数据输入预测模型，生成下一时刻预测结果；
目标位姿生成模块305，用于将下一时刻预测结果输入导航模型，生成机械臂下一时刻目标位姿；
位姿控制量输出模块306，用于将机械臂当前目标位姿、机械臂下一时刻目标位姿，共同输入PD控制器，输出机械臂末端位姿控制量；
机械臂控制模块307，用于基于机械臂末端位姿控制量，控制机械臂跟随目标靶区移动。
图4示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器401以及存储有计算机程序指令的存储器402。
具体地，上述处理器401可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit ，ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在电子设备的内部或外部。在特定实施例中，存储器402可以是非易失性固态存储器。
在一个实施例中，存储器402可以是只读存储器（Read Only Memory，ROM）。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法。
在一个示例中，电子设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、***组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置（***）和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (8)
1.一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，其特征在于，包括：
建立导航模型；
离线采集病灶靶区旋转平移数据；
将病灶靶区数据输入LSTM进行模型训练，得到预测模型；
在线病灶靶区数据输入预测模型，生成下一时刻预测结果；
将下一时刻预测结果输入导航模型，生成机械臂下一时刻目标位姿；
将机械臂当前目标位姿、机械臂下一时刻目标位姿，共同输入PD控制器，输出机械臂末端位姿控制量；
基于机械臂末端位姿控制量，控制机械臂跟随目标靶区移动；
获取机械臂当前目标位姿，包括：
计算机械臂携带工具到目标病灶靶区的期望位置；
获取当前位置增量；
基于期望位置和当前位置增量，计算机械臂当前目标位姿；
获取机械臂下一时刻目标位姿，包括：
将下一时刻病灶靶区位姿输入导航模型，得到机械臂法兰位姿；
基于机械臂法兰位姿和当前位置增量，计算机械臂下一时刻目标位姿；
具体的，基于LSTM的PD机械臂跟踪控制器：
其中，为机械臂控制输出，/>为根据导航原理所计算出的趋势机械臂携带工具到目标病灶靶区的期望位置，/>为当前位置增量，/>为LSTM网络根据前m时刻所回归预测出的下一时刻病灶靶区位姿带入导航计算模型得到的机械臂法兰位姿；为控制器参数。
2.根据权利要求1所述的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，其特征在于，建立导航模型，包括：
获取目标末端法兰相较于当前法兰的相对转换矩阵；
建立机械臂动态跟踪目标靶区的误差矩阵。
3.根据权利要求2所述的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，其特征在于，获取目标末端法兰相较于当前法兰的相对转换矩阵，包括：
获取靶区在视觉传感器下的位姿转换矩阵；
建立靶区在机械臂工具下的位姿转换矩阵；
基于靶区在机械臂工具下的位姿转换矩阵，获取目标末端法兰相较于当前法兰的相对转换矩阵。
4.根据权利要求1所述的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，其特征在于，将病灶靶区数据输入LSTM进行模型训练，得到预测模型，包括：
LSTM的网络包括：输入层、中间的隐藏层和输出层；
其中，输入层节点分别表示位姿向量元素的时间序列；
中间的隐藏层有两层，每层节点间进行全连接；
输出层节点分别表示下一时刻的位姿。
5.根据权利要求4所述的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法，其特征在于，计算输出层节点的输出向量，包括：
分别获取隐藏层的输入状态、输出状态和权重矩阵；
基于隐藏层的输入状态、输出状态和权重矩阵，计算输出层节点的输出向量。
6.一种基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制装置，其特征在于，所述装置实现如权利要求1-5任意一项所述的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法；
所述装置包括：
模型建立模块，用于建立导航模型；
数据采集模块，用于离线采集病灶靶区旋转平移数据；
模型训练模块，用于将病灶靶区数据输入LSTM进行模型训练，得到预测模型；
预测结果生成模块，用于在线病灶靶区数据输入预测模型，生成下一时刻预测结果；
目标位姿生成模块，用于将下一时刻预测结果输入导航模型，生成机械臂下一时刻目标位姿；
位姿控制量输出模块，用于将机械臂当前目标位姿、机械臂下一时刻目标位姿，共同输入PD控制器，输出机械臂末端位姿控制量；
机械臂控制模块，用于基于机械臂末端位姿控制量，控制机械臂跟随目标靶区移动。
7.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的基于LSTM的导航手术机械臂视觉伺服位姿预测PD控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410002423.0A CN117860382B (zh) | 2024-01-02 | 2024-01-02 | 基于lstm的导航手术机械臂视觉伺服位姿预测pd控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410002423.0A CN117860382B (zh) | 2024-01-02 | 2024-01-02 | 基于lstm的导航手术机械臂视觉伺服位姿预测pd控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117860382A CN117860382A (zh) | 2024-04-12 |
| CN117860382B true CN117860382B (zh) | 2024-06-25 |
Family
ID=90583987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410002423.0A Active CN117860382B (zh) | 2024-01-02 | 2024-01-02 | 基于lstm的导航手术机械臂视觉伺服位姿预测pd控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117860382B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115648211A (zh) * | 2022-10-31 | 2023-01-31 | 杭州键嘉医疗科技股份有限公司 | 一种机械臂姿态误差补偿方法、装置、设备及存储介质 |
| CN116747026A (zh) * | 2023-06-05 | 2023-09-15 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的机器人智能截骨方法、装置及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113768640B (zh) * | 2021-11-09 | 2022-02-08 | 极限人工智能有限公司 | 一种确定机械臂工作位姿的方法和装置 |
| CN114593735B (zh) * | 2022-01-26 | 2024-05-31 | 奥比中光科技集团股份有限公司 | 一种位姿预测方法及装置 |
| CN117084788A (zh) * | 2022-05-11 | 2023-11-21 | 北京天智航医疗科技股份有限公司 | 机械臂目标姿态的确定方法、装置及存储介质 |
| CN116889471B (zh) * | 2023-07-13 | 2024-04-02 | 北京长木谷医疗科技股份有限公司 | 导航手术机械臂最佳关节角度选解方法、装置及设备 |
-
2024
- 2024-01-02 CN CN202410002423.0A patent/CN117860382B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115648211A (zh) * | 2022-10-31 | 2023-01-31 | 杭州键嘉医疗科技股份有限公司 | 一种机械臂姿态误差补偿方法、装置、设备及存储介质 |
| CN116747026A (zh) * | 2023-06-05 | 2023-09-15 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的机器人智能截骨方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117860382A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Janabi-Sharifi et al. | A kalman-filter-based method for pose estimation in visual servoing | |
| CN107703756B (zh) | 动力学模型参数辨识方法、装置、计算机设备及存储介质 | |
| CN101402199A (zh) | 基于视觉的手眼式低伺服精度机器人移动目标抓取方法 | |
| CN114131611B (zh) | 机器人重力位姿分解的关节误差离线补偿方法、***及终端 | |
| Shademan et al. | Sensitivity analysis of EKF and iterated EKF pose estimation for position-based visual servoing | |
| CN116747026B (zh) | 基于深度强化学习的机器人智能截骨方法、装置及设备 | |
| CN113319859B (zh) | 一种机器人示教方法、***、装置及电子设备 | |
| CN111123947A (zh) | 机器人行进的控制方法、装置、电子设备、介质和机器人 | |
| CN109159112A (zh) | 一种基于无迹卡尔曼滤波的机器人运动参数估计方法 | |
| CN109764876B (zh) | 无人平台的多模态融合定位方法 | |
| CN117860382B (zh) | 基于lstm的导航手术机械臂视觉伺服位姿预测pd控制方法 | |
| CN117428791B (zh) | 一种用于肩部四轴康复机器人的逆运动学求解方法及*** | |
| CN1330466C (zh) | 基于运动选择的机器人在线手眼标定方法 | |
| CN116889471B (zh) | 导航手术机械臂最佳关节角度选解方法、装置及设备 | |
| CN111113430B (zh) | 一种机器人及其末端控制方法和装置 | |
| CN114851190B (zh) | 面向低频驱控一体的机械臂轨迹规划方法及*** | |
| CN113763434B (zh) | 一种基于卡尔曼滤波多运动模型切换的目标轨迹预测方法 | |
| CN115648211A (zh) | 一种机械臂姿态误差补偿方法、装置、设备及存储介质 | |
| CN109240216B (zh) | 并联伺服***的动态过程控制方法及信息数据处理终端 | |
| CN116652972B (zh) | 基于双向贪心搜索算法的串联机器人末端轨迹规划方法 | |
| Zak et al. | A prediction based strategy for robotic interception of moving targets | |
| CN115870976A (zh) | 一种机械臂的采样轨迹规划方法和装置、电子设备 | |
| CN113400300B (zh) | 用于机器人末端的伺服***及其控制方法 | |
| CN118070122A (zh) | 轨迹预测方法及轨迹预测装置 | |
| CN117681195A (zh) | 一种机器人参数辨识方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |