CN112530553A - 软组织与工具之间的交互力估计方法及装置 - Google Patents

软组织与工具之间的交互力估计方法及装置 Download PDF

Info

Publication number
CN112530553A
CN112530553A CN202011396154.9A CN202011396154A CN112530553A CN 112530553 A CN112530553 A CN 112530553A CN 202011396154 A CN202011396154 A CN 202011396154A CN 112530553 A CN112530553 A CN 112530553A
Authority
CN
China
Prior art keywords
images
tool
layer
frames
soft tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011396154.9A
Other languages
English (en)
Inventor
钱银玲
孙寅紫
王琼
王平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011396154.9A priority Critical patent/CN112530553A/zh
Publication of CN112530553A publication Critical patent/CN112530553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于医学影像领域，提供了一种软组织与工具之间的交互力估计方法及装置，方法具体为：获取连续的N帧图像，N帧图像是在软组织与工具交互过程中拍摄到的图像，N为大于或者等于3的整数；将N帧图像输入到已训练的神经网络模型中进行处理，得到软组织与工具在第一时刻交互时的交互力，第一时刻为N帧图像中的第N帧图像的拍摄时刻。采集装置包括有：待测装置和应变电子元件。采用本申请提供的软组织与工具之间的交互力估计方法，无需获取深度图像，且在估计目标帧(即第N帧图像)对应的交互力时，根据目标帧之前的N‑1帧图像即可估计得到，无需等待目标帧之后其他图像的采集。因此，能够保证软组织与工具之间的交互力估计的实时性。

Description

软组织与工具之间的交互力估计方法及装置
技术领域
本申请属于医学影像领域，尤其涉及一种软组织与工具之间的交互力估计方法及采集装置。
背景技术
手术机器人***是一种能够通过机器人做手术来模拟真实手术的***，通常应用于软组织的切除。医生通过机器人来操作手术工具，对软组织进行切除。然而，这一过程中医生无法对软组织与手术工具之间的交互力得到直接的触感反馈，从而无法准确的操作机器人，导致手术任务复杂化、操作准确度降低、手术时间延长。
目前解决手术机器人的力反馈缺失问题可以通过点云时间卷积网络(RGB-PointCloud Temporal Convolutional Network，RPC-TCN)来进行交互力的估计。但是RPC-TCN是将红绿蓝图像(RGB图像)和深度图像作为输入进行交互力估计。而深度信息的采集通常较为复杂，且RPC-TCN需要输入连续的15帧图像，对中间窗口进行估计，也就是说在估计第8帧的交互力时，需要在采集到第15帧图像后才能估计，实时效果较差。
发明内容
本申请实施例提供了一种软组织与工具之间的交互力估计方法及装置，可以在一定程度上改善软组织与工具之间的交互力估计的实时效果较差的技术问题。
第一方面，本申请实施例提供了一种软组织与工具之间的交互力估计方法，包括：获取连续的N帧图像，N帧图像是在软组织与工具交互过程中拍摄到的图像，N为大于或者等于3的整数；
将N帧图像输入到已训练的神经网络模型中进行处理，得到软组织与工具在第一时刻交互时的交互力，第一时刻为N帧图像中的第N帧图像的拍摄时刻。
在第一方面的一种可能的实现方式中，神经网络模型包括三维卷积神经网络、卷积长短期记忆网络和全连接层，将N帧图像输入到已训练的神经网络模型中进行处理，得到软组织与工具在第一时刻交互时的交互力，包括：
将N帧图像输入三维卷积神经网络进行图像特征提取，得到特征图信息；
将特征图信息输入卷积长短期记忆网络进行处理，得到所述第一时刻的短时记忆信息；
将所述短时记忆信息输入所述全连接层得到软组织与工具在第一时刻交互时的交互力。
在第一方面的一种可能的实现方式中，神经网络模型包括三维卷积神经网络、注意力网络、卷积长短期记忆网络和全连接层，将N帧图像输入到已训练的神经网络模型中进行处理，得到软组织与工具在第一时刻交互时的交互力，包括：
将N帧图像输入三维卷积神经网络进行图像特征提取，得到特征图信息；
将特征图信息输入注意力网络中进行权重赋予，得到权重特征图信息；
将权重特征图信息输入卷积长短期记忆网络进行处理，得到所述第一时刻的短时记忆信息；
将所述短时记忆信息输入所述全连接层得到软组织与工具在第一时刻交互时的交互力。
在第一方面的一种可能的实现方式中，三维卷积神经网络具有多个网络层，多个网络层中的相邻两层中前一层的输出是后一层的输入，多个网络层中第一层的输入为N帧图像，最后一层的输出为特征图信息；
多个网络层依次为第一卷积层、第一池化层、第一dropout层、第二卷积层、第二池化层、第二dropout层、第三卷积层、第三dropout层、第四卷积层、第四dropout层、第五卷积层、第三池化层。
在第一方面的一种可能的实现方式中，将N帧图像输入到已训练的神经网络模型中进行处理之前还包括：
获取训练集，训练集包括多组训练数据，每一组训练数据包括软组织与工具交互过程中拍摄到的连续N帧图像样本和第N帧图像样本拍摄时刻的交互力；
根据训练集训练初始神经网络，得到神经网络模型。
在第一方面的一种可能的实现方式中，第N帧图像样本拍摄时刻的交互力是通过采集工具获得的，采集工具的结构包括有应变电子元件、待测装置，待测装置上对称安装有多个应变电子元件，多个应变电子元件与控制电路连接，控制电路用于测量应变电子元件的电势差。
第二方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的交互力估计方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现第一方面的交互力估计方法。
第四方面，一种装置，获取单元，获取连续的N帧图像，所述N帧图像是在软组织与工具交互过程中拍摄到的图像，N为大于或者等于3的整数；
处理单元，将所述N帧图像输入到已训练的神经网络模型中进行处理，得到所述软组织与所述工具在第一时刻交互时的交互力，所述第一时刻为所述N帧图像中的第N帧图像的拍摄时刻。
第五方面，本申请实施例提供了一种采集工具，待测装置上对称安装有多个应变电子元件，多个应变电子元件与控制电路连接，控制电路用于测量应变电子元件的电势差。
在第五方面的一种可能的实现方式中，控制电路包括电源、放大器、单片机，其中，电源与放大器、单片机分别进行电性连接，放大器与应变电子元件电性连接，应变电子元件与单片机电性连接。
本申请实施例与现有技术相比存在的有益效果是：
采用本申请提供的软组织与工具之间的交互力估计方法，通过预先训练的神经网络模型，基于连续的N帧图像即可获得第一时刻交互时的交互力，该第一时刻为该N帧图像中的第N帧图像的拍摄时刻。无需获取深度图像，且在估计目标帧(即第N帧图像)对应的交互力时，根据目标帧之前的N-1帧图像即可估计得到，无需等待目标帧之后其他图像的采集。因此，在一定程度上能够保证软组织与工具之间的交互力估计的实时性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的方法流程图；
图2是本申请一实施例提供的神经网络模型的结构示意图；
图3是本申请一实施例提供的三维卷积神经网络中的卷积层工作原理示意图；
图4是本申请一实施例提供的三维卷积神经网络中的池化层工作原理示意图；
图5是本申请一实施例提供的ConvLSTM的单个神经元结构示意图；
图6是本申请一实施例提供的训练神经网络的方法流程图；
图7是本申请一实施例提供的应变片与待测装置位置关系结构图；
图8是本申请一实施例提供的平行四边形法则示意图；
图9是本申请另一实施例提供的惠斯通电桥结构示意图；
图10是本申请一实施例提供的控制电路的电路图；
图11是本申请一实施例提供的装置结构示意图；
图12是本申请另一实施例提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
目前，解决手术机器人的力反馈缺失问题有两个方向，即硬件和软件。集成硬件传感器是使机器人具备力反馈感知最直接的方式，但存在着价格昂贵、生物兼容性差、尺寸大小限制、频繁消毒杀菌、难以剔除无关力之类的问题。软件方面，分为虚拟组织重建和深度学习方法两个大类。虚拟组织重建利用基于组织表面的RGB图和/或深度信息等来进行重建就可以获得一个精确度较高的三维立体组织形变模型，再进行力估计，总体精度较高但耗时过长；深度学习方法通过分析视觉、电流等间接信息样本数据的内在规律来学习样本数据的特征，由此来估计交互力。深度学习方法中的点云时间卷积网络(RGB-Point CloudTemporal Convolutional Network，RPC-TCN)模型，是将红绿蓝图像(RGB图像)和深度图像作为输入进行交互力估计。而深度信息的采集通常较为复杂，且RPC-TCN需要输入连续的15帧图像，对中间窗口进行估计，也就是说在估计第8帧的交互力时，需要在采集到第15帧图像后才能估计，实时效果较差。
本申请提供的一种软组织与工具之间的交互力估计方法，可以在一定程度上改善软组织与工具之间的交互力估计的实时效果较差的技术问题。
请参见图1，是本申请实施例提供的一种软组织与工具之间的交互力估计流程图：
步骤110，获取连续的N帧图像，所述N帧图像是在软组织与工具交互过程中拍摄到的图像，N为大于或者等于3的整数。
本实施例中在手术机器人利用手术工具对软组织进行切除的过程中，发现3帧图像可以包括手术机器人操作手术工具按压或夹取一次的操作过程，3帧以上的图像可以包括手术机器人操作手术工具按压或夹取多次的操作过程，在手术机器人利用手术工具对软组织进行切除的过程中，采集装置可以拍摄手术工具对软组织按压或夹取一次或多次的操作图像，得到连续多帧的RGB图像。终端设备可以从采集装置获取N帧图像。
步骤120，将N帧图像输入到已训练的神经网络模型中进行处理，得到所述软组织与所述工具在第一时刻交互时的交互力，第一时刻为N帧图像中的第N帧图像的拍摄时刻。
示例性的，如图2所示，神经网络模型可以包括三维卷积神经网络(3DCNN)、卷积长短期记忆网络(ConvLSTM)和全连接(FC)层。该神经网络模型对该N帧图像进行处理时，可以先将N帧图像输入所述三维卷积神经网络进行图像特征提取，得到特征图信息；然后将所述特征图信息输入所述卷积长短期记忆网络进行处理，得到所述第一时刻的短时记忆信息；最后将所述短时记忆信息输入所述全连接层得到所述软组织与所述工具在第一时刻交互时的交互力。
其中，3DCNN中的卷积层是CNN的核心网络层，用于提取图像的局部特征。如图3所示，卷积层往往通过多个滤波器与像素矩阵进行局部连接，再滑动窗口进行卷积运算，当窗口滑动完毕后会得到一个特征图。通过卷积运算，可以使原信号特征增强，并且降低噪音，由二维卷积可以推导出三维卷积，二维卷积常用于图像处理，滤波器朝图像的宽、高两个方向移动进行卷积，而本实施例中的3DCNN则处理视频图像，即时间序列图像，滤波器朝图像的宽、高、帧数三个方向移动进行卷积。本实施例中使用3DCNN为了保持视频图像信息的时序形式，将时间顺序纳入考虑范围内。
在本申请实施例中，3DCNN具有多个网络层，多个网络层中的相邻两层中前一层的输出是后一层的输入，多个网络层中第一层的输入为N帧图像，最后一层的输出为特征图信息；多个网络层依次为第一卷积层、第一池化层、第一dropout层、第二卷积层、第二池化层、第二dropout层、第三卷积层、第三dropout层、第四卷积层、第四dropout层、第五卷积层、第三池化层。
其中，3DCNN中每个卷积层都包含有至少一个三维卷积核和激活(ReLU)层，利用激活层对卷积核提取的特征进行映射。示例性的，第一卷积层的三维卷积核的大小为55×55×64、第二卷积层的三维卷积核的大小为27×27×192、第三卷积层的三维卷积核的大小为13×13×384、第四卷积层的三维卷积核的大小为13×13×256、第五卷积层的三维卷积核的大小为13×13×256。
3DCNN在挖掘图像局部特征，提取全局特征并分类方面较之其它网络结构有着巨大优势，由于其最突出的两个特点，局部连接和共享权值，使其网络复杂度大幅降低。本实施例中利用3DCNN从RGB图像中通过局部感受域提取拓扑结构，再传输至多层的滤波器从而获得图像最显著的特征，这样使得3DCNN具有少见的对于旋转、位移等的鲁棒性。
3DCNN中的池化层依据图像的局部相关性，对视频图像进行操作时，在大幅减少计算量的同时，还可以维持图像的旋转不变性。为了能对变形和扭曲的图像进行识别，本实施例利用3DCNN的池化层混淆图像特征的具***置。本实施例优选使用最大池化层(Maxpooling)，如图4所示，最大池化层用于将图像分成多个不同的区域，然后比较得到每个区域的最大值作为输出。
示例性的，本申请实施例提供的3DCNN中，第一池化层的池化层的大小为27×27×64、、第二池化层的池化核的大小为13×13×292、第三池化层的池化核的大小为6×6×256。如图4池化层的大小的一个面为4×4时，用于将图像分成4个不同的区域，然后比较得到每个区域的最大值作为输出。
3DCNN中的dropout层用于随机断掉各层神经元间部分联系的网络层，在减少运算量的同时也一定程度上避免了过拟合。
卷积长短时间记忆单元(Convolutional LSTM Network，ConvLSTM)是LSTM的一种变体，因引入卷积操作使得其能够处理图像信息，即直接处理时间序列的图像信息。
示例性的，请参照图5，ConvLSTM的单个神经元结构比较特殊，包括输入门、忘记门、输出门三个门控，利用输入门选择性记忆当前时刻的输入，忘记门选择性忘记长时记忆信息，输出门选择性输出与当前时刻有关的信息，忘记门利用公式(1)可以实现其功能：
ft＝σ(Wxfxt+Whfht-1+WcfCt-1+bf) (1)
输入门利用公式(2)可以实现其功能：
it＝σ(Wxixt+Whiht-1+WciCt-1+bi) (2)
临时状态信息实现其功能如式(3)：
Figure BDA0002815294880000091
长时记忆单元功能实现公式如式(4)：
Figure BDA0002815294880000092
输出门和短时记忆单元功能实现公式分别如式(5)、(6)：
ot＝σ(Wxoxt+Woht-1+WcoCt+bo) (5)
ht＝ot*tanh(Ct) (6)
上述公式中xt是第一时刻的外部输入的信息具体为第N帧图像特征图信息，yt是第一时刻交互时的交互力，it,ft,ot分别是t时刻输入门、忘记门、输出门的权值系数，Ct是第一时刻的长时记忆单元的信息，
Figure BDA0002815294880000093
是第一时刻的临时状态信息，ht是第一时刻的短时记忆信息单元。本实施例中，第一时刻为N帧图像中的第N帧图像的拍摄时刻。
本实施例中短时记忆信息用于反馈各帧图像所对应的力反馈的大小，所述长时记忆信息用于用于各帧图像内部特征变化量与力反馈之间的对应关系。
ConvLSTM的每一个单元处理时序数据时，输入门即it，忘记门即ft的值由第N帧图像的特征图信息、第N-1帧图像的拍摄时刻的短时记忆信息、第N-1帧图像的拍摄时刻的长时记忆信息所决定，输出门ot的值即由第N帧图像拍摄时刻的输入信息、第N-1帧图像的拍摄时刻的短时记忆信息和第N帧图像拍摄时刻的长时记忆信息所决定。
ConvLSTM输出第一时刻的短时记忆信息后，即可将短时记忆信息输入全连接层，得到第一时刻对应的交互力。在本申请实施例提供的神经网络模块，通过三维卷积神经网络是将N帧图像映射到隐形特征空间，得到N帧图像的特征图信息，通过ConvLSTM是将得到具有时间序列的N帧图像的特征图信息进行处理，得到第一时刻的短时记忆信息，通过全连接层是将得到的第一时刻的短时记忆信息进行映射处理，输出第一时刻的力反馈的数值大小。
可选的，如图2所示，该神经网络模型中还可以设置注意力网络。三维卷积神经网络是将N帧图像映射到隐形特征空间，得到N帧图像的特征图信息后，可以先将特征图信息输入所述注意力网络中进行权重赋予，得到权重特征图信息；在将所述权重特征图信息输入ConvLSTM进行处理，得到所述第一时刻的短时记忆信息。由于N帧图像中，各个图像对力反馈具有不同的影响程度，因此，加入注意力模型后，注意力模型会根据目标帧之前的N-1帧图像对目标帧(第N帧图像)所对应的力反馈的影响不同，赋予目标帧之前的N-1帧图像不同的权值。
ConvLSTM在处理权重特征图信息时，首先通过输入门处理外部输入信息(即第N帧图像特征图信息)，具体为将第N帧图像特征图信息和第二帧图像拍摄时刻的短时记忆信息进行权值相加，生成第一时刻的临时状态信息，也就是第N帧图像的临时状态信息；再通过忘记门处理第N-1帧图像拍摄时刻的长时记忆信息，将第N-1帧图像拍摄时刻的长时记忆信息与生成的第N帧图像的临时状态信息进行权值相加得到第N帧图像拍摄时刻的长时记忆信息；最后通过输出门，将第N帧图像拍摄时刻的长时记忆信息选取部分作为第N帧图像拍摄时刻的短时记忆信息，同时将第N帧图像拍摄时刻的短时记忆信息。
请参照图6，在执行上述120之前，需要对神经网络模型进行训练，训练神经网络的流程如下：
步骤130：获取训练集，训练集包括多组训练数据，每一组训练数据包括软组织与工具交互过程中拍摄到的连续N帧图像样本和第N帧图像样本拍摄时刻的交互力。
步骤140：根据训练集训练初始神经网络，得到神经网络模型。
在训练神经网络模型时，可以将多组软组织与工具交互过程中拍摄到的连续N帧图像样本和第N帧图像样本拍摄时刻的交互力输入到预先构建的神经网络模型中，根据多组软组织与工具交互过程中拍摄到的连续N帧图像样本和第N帧图像样本拍摄时刻的交互力对神经网络模型的参数进行调整；再次重新输入一组软组织与工具交互过程中拍摄到的连续N帧图像样本，将输出结果与这组第N帧图像样本拍摄时刻的交互力进行对比，验证神经网络模型是否已经训练完成。
训练集中的交互力是通过采集工具采集的，为了提高准确性，本申请还提供一种采集工具，用于采集图像样本以及图像样本所对应的交互力，本实施例的图像样本是在手术机器人操作手术工具按压或夹取的过程中，工作人员拍摄得到的RGB图像；手术机器人操作手术工具按压或夹取的过程中，手术工具尖端会受力，根据力的大小方向不同，手术工具产生的应变也不同，而应变与力之间存在着简单的线性关系，所以可通过测应变的装置来代替测力装置，因此，如图7所示，本实施例中采集工具的结构包括有应变电子元件220，待测装置210，本实施例中的待测装置210优选为手术工具，本实施例的应变电子元件220优选为应变片，应变片可以根据应变大小而改变其电阻大小。因此，设计电路测量应变片的电阻变化，即可间接得到该时刻的力。由于力是一个具有大小和方向的向量，因此，在测量交互力大小的同时还需要测量交互力的方向，在手术工具210上的空间直角坐标系的坐标轴上，分别对称安装有多个应变电子元件220，本实施例中，在手术工具210上的空间直角坐标系的x、y、z方向的两端分别对称安装有4个应变片220，如图8所示，在利用平行四边形法则即可得到真实的交互力的方向；图8中的F1、F2、F3代表各个方向上的力，F代表合力；请参照图9，由于直接测量应变片220的电阻变化比较困难，所以就利用惠斯通电桥，可以通过测量由于应变片电阻变化而产生的电压变化而间接测量电阻变化，请参照图10，图10是本实施例对采集工具的控制电路的设计，本实施例中是利用单片机250测量电压，单片机250以30Hz的频率量取电压时，由于电压过于小，需要扩大至少1000倍才能观测出差异，于是串联放大器240来解决这项问题。本实施例中在手术工具210上的空间直角坐标系的x、y、z方向均安装有4个应变片220，每个方向上的4个应变片220的内部都以惠斯通电桥的方式进行连接，本实施例中将每个方向上的应变片220均与控制电路200进行电路连接，本实施例中控制电路200包括有电源230、放大器240、单片机250，电源230与放大器240、单片机250分别进行电性连接，放大器240与应变片220连接，所述应变片220与所述单片机250电性连接。单片机250利用编写简单的程序来间隔固定时间读取数据，即可得到真实交互力的大小。
本申请提供一种装置，如图11所示，该装置包括获取单元1101，用于获取连续的N帧图像，所述N帧图像是在软组织与工具交互过程中拍摄到的图像，N为大于或者等于3的整数；
处理单元1102，用于将所述N帧图像输入到已训练的神经网络模型中进行处理，得到所述软组织与所述工具在第一时刻交互时的交互力，所述第一时刻为所述N帧图像中的第N帧图像的拍摄时刻。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图12所述，本申请实施例还提供了一种终端设备6，该终端设备包括：至少一个处理器60、存储器61以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序62，所述处理器60执行所述计算机程序62时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种软组织与工具之间的交互力估计方法，其特征在于，包括：
获取连续的N帧图像，所述N帧图像是在软组织与工具交互过程中拍摄到的图像，N为大于或者等于3的整数；
将所述N帧图像输入到已训练的神经网络模型中进行处理，得到所述软组织与所述工具在第一时刻交互时的交互力，所述第一时刻为所述N帧图像中的第N帧图像的拍摄时刻。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括三维卷积神经网络、卷积长短期记忆网络和全连接层，将所述N帧图像输入到已训练的神经网络模型中进行处理，得到所述软组织与所述工具在第一时刻交互时的交互力，包括：
将N帧图像输入所述三维卷积神经网络进行图像特征提取，得到特征图信息；
将所述特征图信息输入所述卷积长短期记忆网络进行处理，得到所述第一时刻的短时记忆信息；
将所述短时记忆信息输入所述全连接层得到所述软组织与所述工具在第一时刻交互时的交互力。
3.根据根据权利要求1所述的方法，其特征在于，所述神经网络模型包括三维卷积神经网络、注意力网络、卷积长短期记忆网络和全连接层，将所述N帧图像输入到已训练的神经网络模型中进行处理，得到所述软组织与所述工具在第一时刻交互时的交互力，包括：
将N帧图像输入所述三维卷积神经网络进行图像特征提取，得到特征图信息；
将所述特征图信息输入所述注意力网络中进行权重赋予，得到权重特征图信息；
将所述权重特征图信息输入所述卷积长短期记忆网络进行处理，得到所述第一时刻的短时记忆信息；
将所述短时记忆信息输入所述全连接层得到所述软组织与所述工具在第一时刻交互时的交互力。
4.根据权利要求2或3所述的方法，其特征在于，所述三维卷积神经网络具有多个网络层，所述多个网络层中的相邻两层中前一层的输出是后一层的输入，所述多个网络层中第一层的输入为所述N帧图像，最后一层的输出为所述特征图信息；
所述多个网络层依次为第一卷积层、第一池化层、第一dropout层、第二卷积层、第二池化层、第二dropout层、第三卷积层、第三dropout层、第四卷积层、第四dropout层、第五卷积层、第三池化层。
5.根据权利要求1所述的方法，其特征在于，将所述N帧图像输入到已训练的神经网络模型中进行处理之前还包括：
获取训练集，所述训练集包括多组训练数据，每一组训练数据包括软组织与工具交互过程中拍摄到的连续N帧图像样本和第N帧图像样本拍摄时刻的交互力；
根据训练集训练初始神经网络，得到所述神经网络模型。
6.根据权利要求1所述的方法，其特征在于，所述第N帧图像样本拍摄时刻的交互力是通过采集工具获得的，所述采集工具的结构包括有应变电子元件、待测装置，所述待测装置上对称安装有多个应变电子元件，所述多个应变电子元件与控制电路连接，所述控制电路用于测量所述应变电子元件的电势差。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
9.一种采集工具，其特征在于，待测装置上对称安装有多个应变电子元件，所述多个应变电子元件与控制电路连接，所述控制电路用于测量所述应变电子元件的电势差。
10.根据权利要求9所述的采集工具，其特征在于，控制电路包括电源、放大器、单片机，所述电源与放大器、单片机分别进行电性连接，所述放大器与应变电子元件电性连接，所述应变电子元件与所述单片机电性连接。
CN202011396154.9A 2020-12-03 2020-12-03 软组织与工具之间的交互力估计方法及装置 Pending CN112530553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011396154.9A CN112530553A (zh) 2020-12-03 2020-12-03 软组织与工具之间的交互力估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011396154.9A CN112530553A (zh) 2020-12-03 2020-12-03 软组织与工具之间的交互力估计方法及装置

Publications (1)

Publication Number Publication Date
CN112530553A true CN112530553A (zh) 2021-03-19

Family

ID=74998303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011396154.9A Pending CN112530553A (zh) 2020-12-03 2020-12-03 软组织与工具之间的交互力估计方法及装置

Country Status (1)

Country Link
CN (1) CN112530553A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140046128A1 (en) * 2012-08-07 2014-02-13 Samsung Electronics Co., Ltd. Surgical robot system and control method thereof
US20170132785A1 (en) * 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
US20180253839A1 (en) * 2015-09-10 2018-09-06 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
KR101912569B1 (ko) * 2018-07-11 2018-10-26 전북대학교산학협력단 비디오 영상에서의 물체 추적시스템
US10383694B1 (en) * 2018-09-12 2019-08-20 Johnson & Johnson Innovation—Jjdc, Inc. Machine-learning-based visual-haptic feedback system for robotic surgical platforms
US20190325572A1 (en) * 2018-04-20 2019-10-24 Siemens Healthcare Gmbh Real-time and accurate soft tissue deformation prediction
CN110490906A (zh) * 2019-08-20 2019-11-22 南京邮电大学 一种基于孪生卷积网络和长短期记忆网络的实时视觉目标跟踪方法
WO2019240330A1 (ko) * 2018-06-11 2019-12-19 동국대학교 산학협력단 영상 기반 힘 예측 시스템 및 그 방법
US20200046439A1 (en) * 2018-08-13 2020-02-13 Verily Life Sciences Llc Detection of unintentional movement of a user interface device
US20200237452A1 (en) * 2018-08-13 2020-07-30 Theator inc. Timeline overlay on surgical video
US20200357508A1 (en) * 2017-10-09 2020-11-12 Digital Orthopaedics Method for simulating foot and/or ankle
CN112017516A (zh) * 2020-08-26 2020-12-01 北京理工大学 一种远程血管介入手术训练***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140046128A1 (en) * 2012-08-07 2014-02-13 Samsung Electronics Co., Ltd. Surgical robot system and control method thereof
US20180253839A1 (en) * 2015-09-10 2018-09-06 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
US20170132785A1 (en) * 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
US20200357508A1 (en) * 2017-10-09 2020-11-12 Digital Orthopaedics Method for simulating foot and/or ankle
US20190325572A1 (en) * 2018-04-20 2019-10-24 Siemens Healthcare Gmbh Real-time and accurate soft tissue deformation prediction
WO2019240330A1 (ko) * 2018-06-11 2019-12-19 동국대학교 산학협력단 영상 기반 힘 예측 시스템 및 그 방법
KR101912569B1 (ko) * 2018-07-11 2018-10-26 전북대학교산학협력단 비디오 영상에서의 물체 추적시스템
US20200046439A1 (en) * 2018-08-13 2020-02-13 Verily Life Sciences Llc Detection of unintentional movement of a user interface device
US20200237452A1 (en) * 2018-08-13 2020-07-30 Theator inc. Timeline overlay on surgical video
US10383694B1 (en) * 2018-09-12 2019-08-20 Johnson & Johnson Innovation—Jjdc, Inc. Machine-learning-based visual-haptic feedback system for robotic surgical platforms
CN110490906A (zh) * 2019-08-20 2019-11-22 南京邮电大学 一种基于孪生卷积网络和长短期记忆网络的实时视觉目标跟踪方法
CN112017516A (zh) * 2020-08-26 2020-12-01 北京理工大学 一种远程血管介入手术训练***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FARIBORZ BAGHAEI NAEINI 等: ""Dynamic-Vision-Based Force Measurements Using Convolutional Recurrent Neural Networks", 《SENSORS》, vol. 20, pages 1 - 15 *
FEILU WANG 等: "Visual Interaction Force Estimation Based on Time-Sensitive Dual-Resolution Learning Network", 《JOURNAL OF SENSORS》, 31 December 2022 (2022-12-31), pages 1 - 14 *
HOCHUL SHIN 等: "Sequential Image-Based Attention Network for Inferring Force Estimation Without Haptic Sensor", 《IEEE ACCESS》, vol. 7, pages 150237 - 150246, XP011755902, DOI: 10.1109/ACCESS.2019.2947090 *
PENGCHENG XI: "A Deep Representation Learning Framework for Medical Imaging Data Analysis", 《OTTAWA-CARLETON INSTITUTE FOR ELECTRICAL AND COMPUTER ENGINEERING》, pages 1 - 148 *
刘玉莹 等: "基于深度学习的微创手术工具检测与跟踪 研究综述", 《JOURNAL OF BIOMEDICAL ENGINEERING, 》, vol. 36, no. 5, pages 870 - 878 *

Similar Documents

Publication Publication Date Title
CN113408508B (zh) 基于Transformer的非接触式心率测量方法
CN106097393B (zh) 一种基于多尺度与自适应更新的目标跟踪方法
CN111476161A (zh) 一种融合图像和生理信号双通道的体感动态手势识别方法
CN112200162A (zh) 基于端到端网络的非接触式心率测量方法、***和装置
CN111652175A (zh) 应用于机器人辅助手术视频分析的实时手术工具检测方法
CN116563887B (zh) 一种基于轻量化卷积神经网络的睡姿监测方法
CN110717461A (zh) 一种疲劳状态识别方法、装置和设备
CN108875931A (zh) 神经网络训练及图像处理方法、装置、***
CN116645721B (zh) 基于深度学习的坐姿识别方法及***
CN115311186A (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN107194364B (zh) 一种基于分治策略的Huffman-LBP多姿态人脸识别方法
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其***
CN110007764B (zh) 一种手势骨架识别方法、装置、***及存储介质
CN111772629A (zh) 一种脑认知技能移植的方法
Balachandar et al. Deep learning technique based visually impaired people using YOLO V3 framework mechanism
CN112861743A (zh) 一种掌静脉图像防伪方法、装置和设备
CN112530553A (zh) 软组织与工具之间的交互力估计方法及装置
CN115205750B (zh) 基于深度学习模型的运动实时计数方法和***
CN115100745B (zh) 基于Swin Transformer模型的运动实时计数方法和***
CN113963427B (zh) 一种快速活体检测的方法与***
CN115862112A (zh) 一种人脸图像痤疮疗效评估用目标检测模型
CN113616209B (zh) 基于时空注意力机制的精神***症患者甄别方法
Gurve et al. Electrocardiogram (ECG) image processing and extraction of numerical information
Nagarhalli et al. Evaluating the Effectiveness of the Convolution Neural Network in Detecting Brain Tumors
Visell et al. Learning constituent parts of touch stimuli from whole hand vibrations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination