CN111652175A - 应用于机器人辅助手术视频分析的实时手术工具检测方法 - Google Patents

应用于机器人辅助手术视频分析的实时手术工具检测方法 Download PDF

Info

Publication number
CN111652175A
CN111652175A CN202010529745.2A CN202010529745A CN111652175A CN 111652175 A CN111652175 A CN 111652175A CN 202010529745 A CN202010529745 A CN 202010529745A CN 111652175 A CN111652175 A CN 111652175A
Authority
CN
China
Prior art keywords
surgical tool
surgical
robot
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010529745.2A
Other languages
English (en)
Inventor
赵子健
刘玉莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010529745.2A priority Critical patent/CN111652175A/zh
Publication of CN111652175A publication Critical patent/CN111652175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提出了应用于机器人辅助手术视频分析的实时手术工具检测方法，包括：采集机器人辅助手术视频并处理得到手术图像；对手术图像进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；由预测的手术工具的中心点及其尺寸计算得到手术工具的边界框。采用轻量级卷积神经网络，利用火模块代替传统沙漏网络中的残差模块，大大减少了卷积神经网络训练所需要的参数，在保证较高检测准确率的同时，提高了检测速度，满足实时性的检测要求。

Description

应用于机器人辅助手术视频分析的实时手术工具检测方法
技术领域
本公开属于机器人辅助手术视频分析的技术领域，尤其涉及应用于机器人辅助手术视频分析的实时手术工具检测方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
机器人辅助手术，主要有机器人辅助手术操作和机器人辅助手术导航两大类。计算机辅助手术操作是外科医生借助机器人手臂进行手术操作，以减少因为人的主观意识、疲劳等其他因素造成的手术事故，外科医生可远离手术台操纵机器人进行精准手术，完全不同于传统的手术概念，可以降低医护人员被传染的概率。计算机辅助手术导航是将病人手术前或手术中的视频数据与手术床上病人的解剖结构进行准确对应，手术中跟踪手术工具并将手术工具的位置在病人影像上以虚拟探针的方式进行实时地更新显示，使医生对手术工具相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。
视频分析技术，是使用计算机图像视觉分析技术，通过把场景中的背景和物体区分开，进一步分析和追踪在摄像机场景中的物体。视频分析是依照人眼的生物特性来创建一个基本的运行思路，即采集、预处理、处理、动作。首先采集有经验医生手术过程中的视频数据；然后对画面清晰、过程完整的手术视频进行分帧；再在分帧得到的手术图像中识别出手术工具的出现时间、位置等信息；最后根据得到的手术工具的信息以实现培训新手，手术预警以及手术室资源调配等。
实时手术工具检测，是计算机视觉中的经典问题之一，其任务是用方框标示出图像中手术工具的具***置，并给出手术工具的类别。因为要将手术工具检测技术用在手术视频图像中，所以需要在手术工具的检测过程中做到又快又准，即实时性和准确性是手术工具检测的需求。
与一般的目标检测任务不同，用于手术工具检测的实际图像往往存在着血雾、模糊、移动速度过快等不利于手术工具检测的因素，这就会导致手术工具检测精度下降，从而影响手术导航过程对人体造成危害；另一方面来说，要通过手术工具检测来帮助实施手术导航，实时性是非常必要的，若达不到手术工具检测的实时性，就会延误医生在手术过程中的视野，对人体造成不必要的损害。但是目前的手术工具检测所采用的方法非常耗时，需要生成非常多的锚盒作为先验框甚至还需要将先验框映射回图像特征图，这增加了计算量，非常耗时，达不到实时性的效果。
发明内容
为克服上述现有技术的不足，本公开提供了应用于机器人辅助手术视频分析的实时手术工具检测方法,提高了手术工具检测的速度及准确度。
一方面，为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：
应用于机器人辅助手术视频分析的实时手术工具检测方法，包括：
采集机器人辅助手术视频并处理得到手术图像；
对手术图像进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；
由预测的手术工具的中心点及其尺寸得到手术工具的边界框。
进一步的技术方案，采用训练轻量级神经网络框架后得到的手术工具关键点估计器对手术图像进行手术工具关键点进行估计。
另一方面，公开了应用于机器人辅助手术视频分析的实时手术工具检测***,包括：
手术图像获取模块，被配置为采集机器人辅助手术视频并处理得到手术图像；
手术工具的中心点预测模块，被配置为将手术图像进行预处理进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；
手术工具的边界框获取模块，被配置为由预测的手术工具的中心点及其尺寸得到手术工具的边界框。
以上一个或多个技术方案存在以下有益效果：
1、本公开技术方案采用轻量级卷积神经网络，利用火模块代替传统沙漏网络中的残差模块，大大减少了卷积神经网络训练所需要的参数，在保证较高检测准确率的同时，提高了检测速度，满足实时性的检测要求。
2、本公开技术方案采用无锚盒的方法提取候选手术工具边界框，由手术工具中心点的坐标通过公式直接得到待检测手术工具的边界框，不需要任何后处理过程，并且这种一阶段的检测方法更加高效。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本发明的整体卷积神经网络框架图；
图2为火模块代替残差模块详细结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
本公开实施例子采用无锚盒的轻量级卷积神经网络结构。
术语解释
Anchor-free是无锚盒，anchor(也被称为anchor box)是在卷积神经网络训练之前，在训练集上利用k-means等方法聚类出来的一组矩形框，代表数据集中目标主要分布的长宽尺度。目标检测算法一般可分为anchor-based、anchor-free、两者融合类，即滑动窗口、选择性搜索和回归，区别就在于有没有利用anchor提取候选目标框。anchor-free是无锚盒，也就是没有利用anchor提取候选目标框。
目前广泛采用的手术工具检测方法主要为：两阶段检测方法和需要锚盒的一阶段检测方法。两阶段检测方法需要将大量的锚盒映射回图像特征图然后进行分类回归，非常耗时；需要锚盒的检测一阶段方法虽然可以生成锚盒之后直接进行分类回归任务，但是设计大量的锚盒需要对锚盒参数进行精细设计并且这种方法的手术工具检测精度有所下降，而且它们的速度远远达不到手术工具检测实时性的要求。本申请方案是一阶段不需要大量锚盒就可以直接进行分类回归的轻量级手术工具检测方法，保证手术工具检测准确率的同时，达到了手术工具检测实时性的要求。
实施例一
本实施例公开了应用于机器人辅助手术视频分析的实时手术工具检测方法，整体构思为：
采集机器人辅助手术视频并处理得到手术图像；
对手术图像进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；
由预测的手术工具的中心点及其尺寸得到手术工具的边界框。
具体步骤包括：
S1：采集机器人辅助手术视频，再对手术视频进行分帧操作，得到手术图像；
S2：初始化用于训练的神经网络框架；
S3：将步骤S1得到手术图像输入神经网络框架，手术图像预处理；
S4：训练神经网络框架得到在步骤S3手术图像中的手术工具关键点估计器
Figure BDA0002534941490000052
S5：根据步骤S4检测得到的手术工具关键点估计器得到手术工具中心点的热度图，回归出手术工具边界框的大小，输出下采样之后偏移值；
S6：由步骤S5得到的手术工具的中心点得到手术工具的边界框。
具体实施例子中，步骤S1，具体包括：
S11：在机器人辅助手术进行时用摄像头采集整个手术过程视频，速度为25fps；
S12：用分帧软件进一步将步骤S11中采集到的速度为20fps的视频降采样为5fps再保存为手术图像；此处需要说明的是，具体实施时将原视频降采样降到人工标记手术视频帧速度；降采样实现向下采样原始视频，以丰富视频片段间的时间信息，有利于手术工具检测的准确率。
S13：重复步骤S12，直到所有手术视频全部转换为手术图像。
所述步骤S2，具体包括：
S21：手术工具种类为C，此处选择为1，C代表手术视频中出现的手术工具的种类。C＝1代表在处理的手术视频中只出现了一种手术工具，大小为W×H且下采样因子为R的手术图像，此处选择大小为720×576且下采样因子为4的手术图像
Figure BDA0002534941490000051
先经过一个7×7的卷积模块和残差模块以降低图像的分辨率，将图像的分辨率统一设置为512×512的大小，以提高神经网络的训练速度；
S22：步骤S21得到的手术图像再经过两个带有中继监督层(1×1的卷积模块和批归一化)的轻量级沙漏网络框架，参见附图1所示，虽然用了两个沙漏网络模块但是只添加了两个对称的带有跳跃连接层的下采样模块和上采样模块，下采样时没有使用最大池化层，选择使用了步长为2来降低手术图像的分辨率，这样的结构在保证检测准确率的同时加快了速度，提高了实时性。
轻量级沙漏网络框架包括：下采样部分：将图像处理为适合显示区域的尺寸；生成相应手术工具图像的低分辨率图。
上采样部分：放大图像，使其可显示于高分辨率设备。
中继监督部分：直接将整个神经网络进行梯度下降，一层层反向传播会大幅减小输出层的误差产生梯度消失问题。为了解决这个问题，在中间加入一个中继监督部分以保证低层参数更新。
神经网络的训练是一个黑盒，输入一张图片，神经网络将其转换成不同的特征，神经网络层间，层层传播，最后输出所需的结果。
参见附图2所示，S2基于采用火模块代替传统沙漏网络中的残差模块，手术工具关键点估计器是通过火模块组成的神经网络训练学习出的；火模块使申请网络在保证手术工具检测准确性的同时，减少参数量，达到手术工具检测的实时性。具体包括：
S23：将步骤S22中所用传统的沙漏网络框架中的残差模块用火模块代替，火模块首先使用一个1×1的卷积核来压缩输入图像的通道，然后再采用一个1×1卷积核和3×3深度可分离卷积核混合并行的模块，最后通过修正线性单元(也称线性整流函数)输出，线性整流函数是卷积神经网络中常见的激活函数，是一种非线性映射。多个线性操作层的叠加只能进行线性映射，引入线性整流函数等激活函数才能增加整个网络的非线性，形成复杂的函数。这样的设计可以减少训练的参数，大大加快神经网络的训练检测速度，火模块和深度可分离卷积都是轻量级神经网络常见方法；
S24：步骤S23中的深度可分离卷积分为两步：第一步采用三个卷积分别对三个通道进行卷积计算，在一次卷积之后，输出三个数，然后第二步用第一步输出的三个数，再计算一个1×1×3的点卷积，最后得到一个数。
在神经网络的框架中，训练学习手术工具图像中手术工具的位置，每一张手术工具图片都要经过这种卷积操作。
深度可分离卷积是两个步骤，分别有不同的作用：
1.将深度信息分离；
2.使用1*1卷积以融合通道，还原尺寸。深度可分离卷积的计算量是传统卷积操作计算量的1/9左右，大大加快了速度。
所述步骤S3，具体包括：
S31：对输入的手术图像进行分批处理；
S32：对输入的批图像进行预处理，即数据增强(对手术图像进行旋转、位移、缩放等操作)，以增加训练数据集样本；
S33：重复步骤S32直到所有的批数据都处理完毕。
所述步骤S4，具体包括：
S41：训练神经网络框架得到在步骤S3手术图像中的手术工具关键点估计器
Figure BDA0002534941490000071
当预测的
Figure BDA0002534941490000072
则代表检测到的关键点是手术工具的中心点，若预测的
Figure BDA0002534941490000073
则代表检测到的关键点是背景。
通过训练设计的一阶段无锚盒轻量级卷积神经网络来得到手术工具关键点估计器
Figure BDA0002534941490000074
表达式为：
Figure BDA0002534941490000075
其中W、H分别是输入图像的宽和高，R为下采样因子。
所述步骤S5，具体包括：
S51：如果输入的手术图像I中某种手术工具c的中心点坐标为(95，102)，此处坐标某种手术工具中心点的真实值，基于该真实值才能分布在热度图上，进行后续的各种计算。那么根据步骤S4中得到的手术工具关键点估计器为
Figure BDA0002534941490000081
给定一个半径，对检测到的手术工具的负样本进行惩罚而不是用非零即一的形式；负样本的罚减量由中心位于正位置的非正规2D高斯核Yxyc给出；由于手术图像数据存在正负样本严重不平衡问题，log运算符前面的项具有平衡的作用。如果Yxyc接近1，表明该点是易检测点，Yxyc接近0，则表明该关键点还没有学习到，因此应该增加其训练比重，因此log前面的括号项会根据Yxyc的大小调节其训练比重。所以要采用改进的焦点损失函数：
Figure BDA0002534941490000082
其中其超参数α＝2、β＝4，N＝2为手术图像中关键点的个数；
S52：设计一个由三部分组成的损失函数Ldet＝Lk+λsLs+λoLo，其中Lk是估计手术工具关键点的损失函数，Ls是估计手术工具大小的L1损失函数，λs＝0.1是其常量系数，Lo是局部偏移L1损失函数，λo＝1是其常量系数。
S53：重复步骤S52，不断学习，不断训练网络，使步骤S52中的损失函数的值越来越小到某个值后趋于不变，直到卷积神经网络的损失函数曲线拟合。
损失函数曲线拟合代表神经网络训练成功，可以直接输入一张标记好的手术工具图片进行测试，直接得到C+4个数据，即手术工具关键点的种类C、边界框的尺寸W与H以及偏移量的x与y。
热度图是神经网络的一个输出，也就是手术工具关键点的种类。
通常用后处理NMS(非极大值抑制)，计算边界框间的IOU来减少同一个手术工具重复的边界框，但其难以区分和训练，导致现在多数检测器均不是端到端可训练的。因此将热度图上所有响应点与其8个邻域点比较，若该关键点的值大于或等于其8个邻域点值就保留，最终留下前100个峰值点。这样就省去了NMS后处理过程，可以实现端到端的训练。
对于手术图像中手术工具关键点的真实值中的C类，将其真实值关键点P进行计算用以训练，手术工具关键点的计算公式：
Figure BDA0002534941490000091
对原图像下采样后相应的关键点成为：
Figure BDA0002534941490000092
这样
Figure BDA0002534941490000093
对应的是原图像进行下采样结束后低分辨率下的关键点。
下采样后的图像真实值关键点按照公式
Figure BDA0002534941490000094
输入高斯核
Figure BDA0002534941490000095
式中σP是与手术工具W和H有关的标准差，如此便把关键点分布在手术工具的特征图上，如果有重叠，则选元素级大的。即每个点Y的取值范围是从0到1,1就是需要学习预测的点。
最后使用关键点损失函数即改进的像素级的逻辑回归焦点损失函数
Figure BDA0002534941490000096
利用L1损失函数进行回归。
若某手术工具k的边界框表示为：
Figure BDA0002534941490000097
则手术工具的中心点即：
Figure BDA0002534941490000098
在训练前先计算每个手术工具k的边界框的尺寸：
Figure BDA0002534941490000099
Figure BDA00025349414900000910
y2k-y1k,这个尺寸是对原图像进行降采样之后的W、H；
用
Figure BDA00025349414900000911
估计出所有手术工具的中心点；
为了实现实时性减少计算量，对不同的手术工具使用相同的预测尺寸
Figure BDA00025349414900000912
在中心点位置用L1损失函数进行回归：
Figure BDA00025349414900000913
所述步骤S6，具体包括：
S61：根据步骤S5中得到的热度图峰值，检测所有值大于或等于其8个连通邻域的响应，并保持前100个峰值,令
Figure BDA0002534941490000101
为1类的2个检测到的中心点
Figure BDA0002534941490000102
的集合,
Figure BDA0002534941490000103
是手术工具的偏差预测，
Figure BDA0002534941490000104
手术工具的大小预测。
S62：根据步骤S5中检测到的手术工具的中心点和预测到的手术工具尺寸的大小，最终使用公式：
Figure BDA0002534941490000105
得到手术工具的边界框，整个过程属于无锚盒提取候选手术工具的边界框，并且不需要任何的后处理过程。
基于同样的发明构思，本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例子一中的应用于机器人辅助手术视频分析的实时手术工具检测方法的步骤。
基于同样的发明构思，本实施例的目的是提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述实施例子一中的应用于机器人辅助手术视频分析的实时手术工具检测方法的步骤。
基于同样的发明构思，本实施例的目的是提供应用于机器人辅助手术视频分析的实时手术工具检测***,包括：
手术图像获取模块，被配置为采集机器人辅助手术视频并处理得到手术图像；
手术工具的中心点预测模块，被配置为将手术图像进行预处理进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；
手术工具的边界框获取模块，被配置为由预测的手术工具的中心点及其尺寸得到手术工具的边界框。
以上实施例的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。
本领域技术人员应该明白，上述本公开的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征是，包括：
采集机器人辅助手术视频并处理得到手术图像；
对手术图像进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；
由预测的手术工具的中心点及其尺寸计算得到手术工具的边界框。
2.如权利要求1所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征是，采用训练轻量级神经网络框架后得到的手术工具关键点估计器对手术图像进行手术工具关键点进行估计。
3.如权利要求2所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征是，所述轻量级神经网络框架包括火模块，所述火模块被配置为使用一个卷积核压缩输入图像的通道，然后再采用一个卷积核和深度可分离卷积核混合并行的模块，最后通过修正线性单元输出。
4.如权利要求2所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征是，训练轻量级神经网络框架后得到的手术工具关键点估计器输出不同的数值来代表检测到的关键点是手术工具的中心点或是手术工具的背景。
5.如权利要求1所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征是，对机器人辅助手术视频处理时，对手术视频进行分帧操作，将机器人辅助手术视频降采样后保存为手术图像。
6.如权利要求1所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征是，对手术图像进行手术工具关键点估计之前对得到的手术图像进行预处理，即数据增强处理以增加轻量级神经网络框架的训练数据集样本。
7.如权利要求1所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征是，提取手术工具的中心点的过程为：
基于手术工具关键点估计器构建损失函数，当轻量级神经网络框架的损失函数曲线拟合时，获得手术图像中某种手术工具的中心点坐标。
8.应用于机器人辅助手术视频分析的实时手术工具检测***,其特征是，包括：
手术图像获取模块，被配置为采集机器人辅助手术视频并处理得到手术图像；
手术工具的中心点预测模块，被配置为将手术图像进行预处理进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；
手术工具的边界框获取模块，被配置为由预测的手术工具的中心点及其尺寸得到手术工具的边界框。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的应用于机器人辅助手术视频分析的实时手术工具检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述的中的应用于机器人辅助手术视频分析的实时手术工具检测方法的步骤。
CN202010529745.2A 2020-06-11 2020-06-11 应用于机器人辅助手术视频分析的实时手术工具检测方法 Pending CN111652175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010529745.2A CN111652175A (zh) 2020-06-11 2020-06-11 应用于机器人辅助手术视频分析的实时手术工具检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010529745.2A CN111652175A (zh) 2020-06-11 2020-06-11 应用于机器人辅助手术视频分析的实时手术工具检测方法

Publications (1)

Publication Number Publication Date
CN111652175A true CN111652175A (zh) 2020-09-11

Family

ID=72350504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010529745.2A Pending CN111652175A (zh) 2020-06-11 2020-06-11 应用于机器人辅助手术视频分析的实时手术工具检测方法

Country Status (1)

Country Link
CN (1) CN111652175A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037263A (zh) * 2020-09-14 2020-12-04 山东大学 基于卷积神经网络和长短期记忆网络的手术工具跟踪***
CN112699879A (zh) * 2020-12-30 2021-04-23 山东大学 基于注意力引导的实时微创手术工具检测方法及***
CN112926542A (zh) * 2021-04-09 2021-06-08 博众精工科技股份有限公司 一种性别检测方法、装置、电子设备及存储介质
CN113569727A (zh) * 2021-07-27 2021-10-29 广东电网有限责任公司 遥感影像中施工场地的识别方法、***、终端及介质
CN114005022A (zh) * 2021-12-30 2022-02-01 四川大学华西医院 一种手术器械使用的动态预测方法及***
CN115122342A (zh) * 2022-09-02 2022-09-30 北京壹点灵动科技有限公司 用于控制机器人的软件架构和机器人的控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263446A (zh) * 2013-03-21 2016-01-20 康复米斯公司 与适用于患者的髋关节植入物相关的***、方法和装置
CN110532961A (zh) * 2019-08-30 2019-12-03 西安交通大学 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263446A (zh) * 2013-03-21 2016-01-20 康复米斯公司 与适用于患者的髋关节植入物相关的***、方法和装置
CN110532961A (zh) * 2019-08-30 2019-12-03 西安交通大学 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHINEDU INNO CENT NWOYE等: "Weakly Sup ervised Convolutional LSTM Approach for To ol Tracking in Laparoscopic Videos" *
IRO LAINA等: "Concurrent Segmentation and Lo calization for Tracking of Surgical Instruments" *
YUYING LIU等: "An Anchor-Free Convolutional Neural Network for Real-Time Surgical Tool Detection in Robot-Assisted Surgery" *
刘玉莹等: "基于深度学习的微创手术工具检测与跟踪研究综述" *
陈兆瑞等: "计算机辅助的微创手术工具跟踪算法综述" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037263A (zh) * 2020-09-14 2020-12-04 山东大学 基于卷积神经网络和长短期记忆网络的手术工具跟踪***
CN112037263B (zh) * 2020-09-14 2024-03-19 山东大学 基于卷积神经网络和长短期记忆网络的手术工具跟踪***
CN112699879A (zh) * 2020-12-30 2021-04-23 山东大学 基于注意力引导的实时微创手术工具检测方法及***
CN112926542A (zh) * 2021-04-09 2021-06-08 博众精工科技股份有限公司 一种性别检测方法、装置、电子设备及存储介质
CN112926542B (zh) * 2021-04-09 2024-04-30 博众精工科技股份有限公司 一种性别检测方法、装置、电子设备及存储介质
CN113569727A (zh) * 2021-07-27 2021-10-29 广东电网有限责任公司 遥感影像中施工场地的识别方法、***、终端及介质
CN113569727B (zh) * 2021-07-27 2022-10-21 广东电网有限责任公司 遥感影像中施工场地的识别方法、***、终端及介质
CN114005022A (zh) * 2021-12-30 2022-02-01 四川大学华西医院 一种手术器械使用的动态预测方法及***
CN114005022B (zh) * 2021-12-30 2022-03-25 四川大学华西医院 一种手术器械使用的动态预测方法及***
CN115122342A (zh) * 2022-09-02 2022-09-30 北京壹点灵动科技有限公司 用于控制机器人的软件架构和机器人的控制方法
CN115122342B (zh) * 2022-09-02 2022-12-09 北京壹点灵动科技有限公司 用于控制机器人的软件***和机器人的控制方法

Similar Documents

Publication Publication Date Title
CN111652175A (zh) 应用于机器人辅助手术视频分析的实时手术工具检测方法
CN109166130B (zh) 一种图像处理方法及图像处理装置
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
CN108230359B (zh) 目标检测方法和装置、训练方法、电子设备、程序和介质
CN107818554B (zh) 信息处理设备和信息处理方法
US20180060652A1 (en) Unsupervised Deep Representation Learning for Fine-grained Body Part Recognition
CN113034495B (zh) 一种脊柱影像分割方法、介质及电子设备
CN112200162B (zh) 基于端到端网络的非接触式心率测量方法、***和装置
CN115578770A (zh) 基于自监督的小样本面部表情识别方法及***
Han et al. Learning generative models of tissue organization with supervised GANs
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN113920571A (zh) 基于多运动特征融合的微表情识别方法及装置
Yang et al. An efficient one-stage detector for real-time surgical tools detection in robot-assisted surgery
CN113237881B (zh) 一种特定细胞的检测方法、装置和病理切片检测***
CN114372962A (zh) 基于双粒度时间卷积的腹腔镜手术阶段识别方法与***
CN117137435B (zh) 一种基于多模态信息融合的康复动作识别方法和***
Sokolova et al. Pixel-based iris and pupil segmentation in cataract surgery videos using mask R-CNN
CN114419401B (zh) 白细胞检测识别方法、装置、计算机存储介质及电子设备
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
CN115546491A (zh) 一种跌倒报警方法、***、电子设备及存储介质
CN112614092A (zh) 脊柱检测方法和装置
Bardosi et al. Metacarpal bones localization in x-ray imagery using particle filter segmentation
CN112699879A (zh) 基于注意力引导的实时微创手术工具检测方法及***
CN112084889A (zh) 一种图像行为识别方法、装置、计算设备及存储介质
Liu et al. AFCANet: An adaptive feature concatenate attention network for multi-focus image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination