CN109241898A - 腔镜视像的目标定位方法和***、存储介质 - Google Patents
腔镜视像的目标定位方法和***、存储介质 Download PDFInfo
- Publication number
- CN109241898A CN109241898A CN201810997357.XA CN201810997357A CN109241898A CN 109241898 A CN109241898 A CN 109241898A CN 201810997357 A CN201810997357 A CN 201810997357A CN 109241898 A CN109241898 A CN 109241898A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- image
- key frame
- frame images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种腔镜视像的目标定位方法和***、存储介质,该方法包括:S100、获取腔镜镜头采集到的视频;S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;其中,所述YOLO目标检测模型的训练过程至少包括:采用K‑centers聚类方法对训练样本数据集进行聚类。本发明采用K‑centers聚类的方式可以有效改善“噪声”敏感问题,从而可以提高目标定位视频的画面质量。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种腔镜视像的目标定位方法和***、存储介质。
背景技术
目前,外科手术腔镜化已经越来越深入人心,微创手术已经成为外科医生和患者的共识。腔镜***能够提供高清放大的手术画面,能清楚显示体内组织的细微结构,与传统开放手术相比,视野更清晰,因此手术更加准确、精细,有效避免了手术部位以外脏器受到不必要的干扰,且术中出血少,手术更安全。
在腔镜手术过程中,由于移动救治中腔镜抖动带来的微创手术视野的噪声特性,对于腔体内一些异常情况的定位和信息挖掘产生一定的影响。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种腔镜视像的目标定位方法和***、存储介质,能够有效改善“噪声”敏感问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
第一方面,本发明提供一种腔镜视像的目标定位方法,包括:
S100、获取腔镜镜头采集到的视频;
S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;
其中,所述YOLO目标检测模型的训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
第二方面,本发明提供一种腔镜视像的目标定位***,该***包括:至少一个存储器;至少一个处理器;其中,所述至少一个存储器存储有至少一个指令模块,经配置由所述至少一个处理器执行;其中,所述至少一个指令模块包括:
视频获取模块,用于执行S100、获取腔镜镜头采集到的视频;
关键帧提取模块,用于执行S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
目标定位模块,用于执行S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
合成模块,用于执行S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;
模型训练模块,用于预先训练所述YOLO目标检测模型,训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
第三方面,本发明提供一种腔镜视像的目标定位***,该***包括:至少一个存储器;至少一个处理器;其中,所述至少一个存储器用于存储计算机程序,所述计算机程序被所述至少一个处理器执行时可实现如下方法:
S100、获取腔镜镜头采集到的视频;
S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;
其中,所述YOLO目标检测模型的训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,在所述计算机程序被处理器执行时可实现以上方法。
(三)有益效果
本发明实施例提供了一种腔镜视像的目标定位方法和***、存储介质,首先获取腔镜视像,然后提取出其中的关键帧图像,然后采用预先训练的YOLO目标检测模型对关键帧图像中的目标进行定位并确定目标类型,再将带有目标定位框和目标类别标识的图像进行合成,得到动态的目标定位视频。由于预先训练的YOLO目标检测模型的训练过程中包括采用K-centers聚类方法对训练样本数据集进行聚类,而采用K-centers聚类的方式可以有效改善“噪声”敏感问题,从而可以提高目标定位视频的画面质量。同时本发明由于采用目标检测模型进行目标定位和目标类型的识别,其处理效率高、处理速度快,能够做到实时的目标定位和目标类型识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明一实施例中腔镜视像的目标定位方法的流程示意图;
图2示出了本发明一实施例中腔镜视像的目标定位***中的部分结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一方面,本发明提供一种腔镜视像的目标定位方法,该方法由电子设备执行,该电子设备可以是连接在腔镜***中的腔镜镜头和显示设备之间的装置,该装置可以为腔镜***中的一部分,也可以为独立于腔镜***的装置(例如,采用一个单独的装置执行该方法,在执行完该方法后将动态目标视频发送至显示装置进行显示)。
如图1所示,该方法包括:
S100、获取腔镜镜头采集到的视频;
可理解的是,上述视频是腔镜***中的镜头在***人体体腔和器脏内腔内直接观察和拍摄的,因此也可以称为腔镜视像。
可理解的是,腔镜镜头为腔镜***中的一部分,而腔镜***可以为腹腔镜***、胸腔镜***、关节腔镜***,当然还可以是其他腔镜***。通过腔镜镜头对腔体内部进行视频拍摄,然后将视频数据传输至外部显示器上,这样医护人员可以观察到相关部位的病变情况等。
S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
可理解的是,根据图像的时间和颜色提取关键帧,实际上是采用图像的时间与颜色的变化的方法提取关键帧。时间变化能够充分体现图像的全局信息,颜色特征能够反映图像的局部变化信息。
举例来说,可以通过以下步骤提取关键帧图像:
S201、将视频中的第一帧图像作为一张关键帧图像,并令d=2;
可理解的是,d表示所述视频中图像的帧号,例如,d=2表示视频中的第2帧图像的帧号。
S202、计算
其中,Si为所述视频中的第i帧图像,si=s(ti,ci),ti为第i帧图像在所述视频中所处的时间点,ci为第i帧图像的颜色矩阵。
举例来说,s'2=s2-s1,s'3=(s2-s1)+(s3-s2)。
S203、判断s'd是否大于对应的预设阈值,其中s'd对应的预设阈值为m*β,m为当前关键帧图像的总帧数,β为常数:
若是,则将所述视频中的第d帧图像作为一张关键帧图像,并进入步骤S204;
否则,进入步骤S204。
可理解的是,s'd用于度量基于时间和颜色变化特征的图像之间的差异性,s'd越大表示图像之间的差异性越大,这样可以剔除相似性高的图像,保留差异性明显的图像作为关键帧图像。
这里,通过s'd与预设阈值的比较判定视频中的第d帧图像是否为关键帧图像。
S204、判断d是小于所述视频的总帧数:
若是,则将d的数值增加1,并返回步骤S202;
否则,结束关键帧图像提取过程;
这里,通过对d与总帧数的比较,只有当d等于总帧数时才结束关键帧图像提取过程,从而实现对视频中各帧图像的遍历。
当然,还可以采用其他方式提取视频中的关键帧,以上步骤S201~S204仅为其中一种具体方式。
S300-、根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理,采用高通滤波器对平滑处理后的图像进行滤波去噪,并采用中值滤波器对滤波去噪后的图像进行滤波增强。
可理解的是,对关键帧图像的边沿黑边进行平滑处理,可以得到边界清晰的腔镜图像。再采用高通滤波器和中值滤波器进行滤波,得到去掉关键帧图像中的噪声而保留关键帧图像中的高频部分。
这里在步骤S300设置了步骤S300-,该步骤主要实现对关键帧图像的优化处理,这对于实现本发明的基本目的而言并不是必须的,因此在某些实施例中可以不包括步骤S300-。
S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
其中,所述YOLO目标检测模型的训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
上述采用K-centers聚类方法对训练样本数据集进行聚类的具体过程包括:每次迭代后的质点是从聚类的样本点中选取,选取标准为选用簇中离平均值最近的对象作为簇中心,这样可以有效改善“噪声”敏感问题。采用K-centers聚类方法可对训练样本数据集中的实际集(即ground truth box)进行聚类,从而找到ground truth box的统计规律。以聚类个数k为候选框(即anchor boxes)的个数,以k个聚类中心的框的宽高维度为候选框的维度。
然而,现有技术中原YOLO神经网络所使用的K-means聚类方法对“噪声”十分敏感,所以导致移动腔镜下的图像存在“噪声”问题。相比之下,本发明能够有效改善“噪声”敏感问题,提高画面质量。
除此之外,本发明提供的YOLO目标检测模型还有其他不同之处:所述YOLO目标检测模型的网络结构中包括池化层,所述池化层能够将n个激活函数值从小到大依次排序,将n个权重值从小到大依次排序,将n个权重值分别与对应的激活函数值相乘,计算n个相乘结果的平均值,并将所述平均值作为最终的激活函数值。
本发明中采用的池化层可以称作sort-pooling,具体按照渐增的顺序排列n个激活函数:{a1,a2,a3...an}(21<a2<a3<...),而不是选择最大的那个。用n个权重{w1,w1,w3…wn}与之相乘得到n个值,取这n个值的平均值,即采用这种方式,神经网络依然能够学习对应于{w1,w2,w3...wn}={0,0,0…1}的良好的、旧的最大池化,且后面的层可以获取更多信息,反向传播时梯度流过上一层中的所有值。sort-pooling能够实现更快更好地收敛,优化迭代时间,保留更多的图像信息,同时也突出重要的图像信息,从而使得目标定位与识别更加精确和处理效率更高。
然而,现有技术中的池化层为max-pooling,是指选取n个激活函数中最大的那个,删除其他激活函数。所以max-pooling存在空间信息损失、不能使用来自多次激活函数的信息和反向传播只能改善最大池化激活函数等问题。
这里,通过对K-centers聚类方法和sort-pooling,可以实现对目标检测模型的优化。
在该步骤中,采用YOLO目标检测模型确定带有目标定位框和目标类别标识的图像的过程具体可以包括:
S301、将每一张关键帧图像划分为S*S个网格,s为大于1的整数;
S302、针对每一个网格,采用多个候选框确定目标的位置、置信度和目标类别概率,将每一个候选框对应的所述置信度和所述目标类别概率相乘,得到该网络的该候选框中的目标属于每一目标类别的置信得分;
S303、将低于预设阈值的置信得分对应的候选框滤除,保留高于等于所述预设阈值的置信得分对应的候选框;
S304、对每一张关键帧图像中保留的各个候选框均进行非极大值抑制(即NMS)处理,得到一张带有目标定位框和目标类别标识的图像;其中,所述目标定位框和所述目标类别标识一一对应。
S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频。
在实际应用时,可以将目标类别标识设置在目标定位框的旁边,以对目标的类别进行说明。
可理解的是,本发明提供的上述方法是基于图像处理技术实现的,其中的目标可以根据需要设置,例如,腔体内的一些异常情况,通过上述目标定位方法可以识别出异常情况的部位和异常情况的种类。
本发明提供的腔镜视像的目标定位方法,首先获取腔镜视像,然后提取出其中的关键帧图像,然后采用预先训练的YOLO目标检测模型对关键帧图像中的目标进行定位并确定目标类型,再将带有目标定位框和目标类别标识的图像进行合成,得到动态的目标定位视频。由于预先训练的YOLO目标检测模型的训练过程中包括采用K-centers聚类方法对训练样本数据集进行聚类,而采用K-centers聚类的方式可以有效改善“噪声”敏感问题,从而可以提高目标定位视频的画面质量。同时本发明由于采用目标检测模型进行目标定位和目标类型的识别,其处理效率高、处理速度快,能够做到实时的目标定位和目标类型识别。
第二方面,本发明提供一种腔镜视像的目标定位***,该***包括:至少一个存储器;至少一个处理器;其中,所述至少一个存储器存储有至少一个指令模块,经配置由所述至少一个处理器执行;其中,所述至少一个指令模块包括:
视频获取模块,用于执行S100、获取腔镜镜头采集到的视频;
关键帧提取模块,用于执行S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
目标定位模块,用于执行S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
合成模块,用于执行S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;
模型训练模块,用于预先训练所述YOLO目标检测模型,训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
在一些实施例中,所述指令模块还可以包括:
图像优化模块,用于执行:根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理,采用高通滤波器对平滑处理后的图像进行滤波去噪,并采用中值滤波器对滤波去噪后的图像进行滤波增强。
在一些实施例中,关键帧提取模块具体用于:
S201、将视频中的第一帧图像作为一张关键帧图像,并令d=2;
S202、计算
S203、判断s'd是否大于对应的预设阈值,其中对应的预设阈值为m*β,m为当前关键帧图像的总帧数,β为常数:
若是,则将所述视频中的第d帧图像作为一张关键帧图像,并进入步骤S204;
否则,进入步骤S204;
S204、判断d是小于所述视频的总帧数:
若是,则将d的数值增加1,并返回步骤S202;
否则,结束关键帧图像提取过程;
其中,Si为所述视频中的第i帧图像,si=s(ti,ci),ti为第i帧图像在所述视频中所处的时间点,ci为第i帧图像的颜色矩阵。
在一些实施例中,目标定位模块具体用于:
S301、将每一张关键帧图像划分为S*S个网格,s为大于1的整数;
S302、针对每一个网格,采用多个候选框确定目标的位置、置信度和目标类别概率,将每一个候选框对应的所述置信度和所述目标类别概率相乘,得到该网络的该候选框中的目标属于每一目标类别的置信得分;
S303、将低于预设阈值的置信得分对应的候选框滤除,保留高于等于所述预设阈值的置信得分对应的候选框;
S304、对每一张关键帧图像中保留的各个候选框均进行非极大值抑制处理,得到一张带有目标定位框和目标类别标识的图像;其中,所述目标定位框和所述目标类别标识一一对应。
在一些实施例中,所述YOLO目标检测模型的网络结构中包括池化层,所述池化层能够将n个激活函数值从小到大依次排序,将n个权重值从小到大依次排序,将n个权重值分别与对应的激活函数值相乘,计算n个相乘结果的平均值,并将所述平均值作为最终的激活函数值。
可理解的是,本发明提供的目标定位***与上述目标定位方法相对应,其有关内容的解释、举例、有益效果等部分可以参考上述目标定位方法中的相应部分,此处不在赘述。
可理解的是,如果将上述目标定位***设置为腔镜***中的一部分,则目标定位***可以与显示屏、气腹仪、摄像机、冷光源等功能模块一起构成智能的具有目标定位功能的腔镜***。如果将上述目标定位***设置为独立于腔镜***的装置,则可以将该目标定位***与上述摄像机、显示屏连接,这样目标定位***获取摄像机采集到的视频,基于图像处理技术得到目标定位视频,发送给显示屏进行显示,以供医护人员参考。
第三方面,本发明提供一种腔镜视像的目标定位***,该***包括:至少一个存储器;至少一个处理器;其中,所述至少一个存储器用于存储计算机程序,所述计算机程序被所述至少一个处理器执行时可实现如下方法:
S100、获取腔镜镜头采集到的视频;
S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;
其中,所述YOLO目标检测模型的训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
在一些实施例中,所述计算机程序被所述至少一个处理器执行时可还实现如下方法:所述将各张关键帧图像输入预设训练的YOLO目标检测模型之前,根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理,采用高通滤波器对平滑处理后的图像进行滤波去噪,并采用中值滤波器对滤波去噪后的图像进行滤波增强。
在一些实施例中,所述根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像,包括:
S201、将视频中的第一帧图像作为一张关键帧图像,并令d=2;
S202、计算
S203、判断s'd是否大于对应的预设阈值,其中对应的预设阈值为m*β,m为当前关键帧图像的总帧数,β为常数:
若是,则将所述视频中的第d帧图像作为一张关键帧图像,并进入步骤S204;
否则,进入步骤S204;
S204、判断d是小于所述视频的总帧数:
若是,则将d的数值增加1,并返回步骤S202;
否则,结束关键帧图像提取过程;
其中,Si为所述视频中的第i帧图像,si=s(ti,ci),ti为第i帧图像在所述视频中所处的时间点,ci为第i帧图像的颜色矩阵。
在一些实施例中,所述将各张关键帧图像输入预设训练的YOLO目标检测模型之前,还可实现如下步骤:
根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理,采用高通滤波器对平滑处理后的图像进行滤波去噪,并采用中值滤波器对滤波去噪后的图像进行滤波增强。
在一些实施例中,所述将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像,包括:
S301、将每一张关键帧图像划分为S*S个网格,s为大于1的整数;
S302、针对每一个网格,采用多个候选框确定目标的位置、置信度和目标类别概率,将每一个候选框对应的所述置信度和所述目标类别概率相乘,得到该网络的该候选框中的目标属于每一目标类别的置信得分;
S303、将低于预设阈值的置信得分对应的候选框滤除,保留高于等于所述预设阈值的置信得分对应的候选框;
S304、对每一张关键帧图像中保留的各个候选框均进行非极大值抑制处理,得到一张带有目标定位框和目标类别标识的图像;其中,所述目标定位框和所述目标类别标识一一对应。
在一些实施例中,所述YOLO目标检测模型的网络结构中包括池化层,所述池化层能够将n个激活函数值从小到大依次排序,将n个权重值从小到大依次排序,将n个权重值分别与对应的激活函数值相乘,计算n个相乘结果的平均值,并将所述平均值作为最终的激活函数值。
在一些实施例中,目标定位***的硬件中除了处理器和存储器之外,还可以包括显示器,用于显示上述目标定位视频,以供医护人员参考。
可理解的是,本发明提供的目标定位***与上述目标定位方法相对应,其有关内容的解释、举例、有益效果等部分可以参考上述目标定位方法中的相应部分,此处不在赘述。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,在所述计算机程序被处理器执行时可实现如上述方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种腔镜视像的目标定位方法,其特征在于,该方法由电子设备执行,该方法包括:
S100、获取腔镜镜头采集到的视频;
S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;
其中,所述YOLO目标检测模型的训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
2.根据权利要求1所述的方法,其特征在于,所述根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像,包括:
S201、将视频中的第一帧图像作为一张关键帧图像,并令d=2;
S202、计算
S203、判断s'd是否大于对应的预设阈值,其中s'd对应的预设阈值为m*β,m为当前关键帧图像的总帧数,β为常数:
若是,则将所述视频中的第d帧图像作为一张关键帧图像,并进入步骤S204;
否则,进入步骤S204;
S204、判断d是小于所述视频的总帧数:
若是,则将d的数值增加1,并返回步骤S202;
否则,结束关键帧图像提取过程;
其中,Si为所述视频中的第i帧图像,si=s(ti,ci),ti为第i帧图像在所述视频中所处的时间点,ci为第i帧图像的颜色矩阵。
3.根据权利要求1所述的方法,其特征在于,所述将各张关键帧图像输入预设训练的YOLO目标检测模型之前,所述方法还包括:
根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理,采用高通滤波器对平滑处理后的图像进行滤波去噪,并采用中值滤波器对滤波去噪后的图像进行滤波增强。
4.根据权利要求1所述的方法,其特征在于,所述将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像,包括:
S301、将每一张关键帧图像划分为S*S个网格,s为大于1的整数;
S302、针对每一个网格,采用多个候选框确定目标的位置、置信度和目标类别概率,将每一个候选框对应的所述置信度和所述目标类别概率相乘,得到该网络的该候选框中的目标属于每一目标类别的置信得分;
S303、将低于预设阈值的置信得分对应的候选框滤除,保留高于等于所述预设阈值的置信得分对应的候选框;
S304、对每一张关键帧图像中保留的各个候选框均进行非极大值抑制处理,得到一张带有目标定位框和目标类别标识的图像;其中,所述目标定位框和所述目标类别标识一一对应。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述YOLO目标检测模型的网络结构中包括池化层,所述池化层能够将n个激活函数值从小到大依次排序,将n个权重值从小到大依次排序,将n个权重值分别与对应的激活函数值相乘,计算n个相乘结果的平均值,并将所述平均值作为最终的激活函数值。
6.一种腔镜视像的目标定位***,其特征在于,该***包括:
至少一个存储器;
至少一个处理器;
其中,所述至少一个存储器存储有至少一个指令模块,经配置由所述至少一个处理器执行;其中,所述至少一个指令模块包括:
视频获取模块,用于执行S100、获取腔镜镜头采集到的视频;
关键帧提取模块,用于执行S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
目标定位模块,用于执行S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
合成模块,用于执行S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;
模型训练模块,用于预先训练所述YOLO目标检测模型,训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
7.根据权利要求6所述的***,其特征在于,所述指令模块还包括:
图像优化模块,用于执行:根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理,采用高通滤波器对平滑处理后的图像进行滤波去噪,并采用中值滤波器对滤波去噪后的图像进行滤波增强。
8.一种腔镜视像的目标定位***,其特征在于,该***包括:
至少一个存储器;
至少一个处理器;
其中,所述至少一个存储器用于存储计算机程序,所述计算机程序被所述至少一个处理器执行时可实现如下方法:
S100、获取腔镜镜头采集到的视频;
S200、根据所述视频中各帧图像的时间和颜色,从所述视频中选取出关键帧图像;
S300、将各张关键帧图像输入预设训练的YOLO目标检测模型,得到多张带有目标定位框和目标类别标识的图像;
S400、将所述多张带有目标定位框和目标类别标识的图像进行合成,得到目标定位视频;
其中,所述YOLO目标检测模型的训练过程至少包括:采用K-centers聚类方法对训练样本数据集进行聚类。
9.根据权利要求8所述的***,其特征在于,所述计算机程序被所述至少一个处理器执行时可还实现如下方法:
所述将各张关键帧图像输入预设训练的YOLO目标检测模型之前,根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理,采用高通滤波器对平滑处理后的图像进行滤波去噪,并采用中值滤波器对滤波去噪后的图像进行滤波增强。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,在所述计算机程序被处理器执行时可实现如权利要求1~5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810997357.XA CN109241898B (zh) | 2018-08-29 | 2018-08-29 | 腔镜视像的目标定位方法和***、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810997357.XA CN109241898B (zh) | 2018-08-29 | 2018-08-29 | 腔镜视像的目标定位方法和***、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109241898A true CN109241898A (zh) | 2019-01-18 |
CN109241898B CN109241898B (zh) | 2020-09-22 |
Family
ID=65068746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810997357.XA Active CN109241898B (zh) | 2018-08-29 | 2018-08-29 | 腔镜视像的目标定位方法和***、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109241898B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241931A (zh) * | 2019-12-30 | 2020-06-05 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
CN113297420A (zh) * | 2021-04-30 | 2021-08-24 | 百果园技术(新加坡)有限公司 | 视频图像处理方法、装置、存储介质及电子设备 |
CN114220060A (zh) * | 2021-12-24 | 2022-03-22 | 萱闱(北京)生物科技有限公司 | 基于人工智能的器具标注方法、装置、介质和计算设备 |
CN115082487A (zh) * | 2022-08-23 | 2022-09-20 | 深圳华声医疗技术股份有限公司 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913075A (zh) * | 2016-04-05 | 2016-08-31 | 浙江工业大学 | 一种基于脉冲耦合神经网络的内窥图像中病灶识别方法 |
WO2017175282A1 (ja) * | 2016-04-04 | 2017-10-12 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
CN107256552A (zh) * | 2017-06-14 | 2017-10-17 | 成都康托医疗设备有限公司 | 息肉图像识别***及方法 |
CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测***及检测方法 |
CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、***及存储装置 |
CN108055454A (zh) * | 2017-12-08 | 2018-05-18 | 合肥工业大学 | 医用内窥镜人工智能芯片的体系架构及图像处理方法 |
CN108292366A (zh) * | 2015-09-10 | 2018-07-17 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的***和方法 |
CN108430373A (zh) * | 2015-10-28 | 2018-08-21 | 安多卓思公司 | 用于在患者体内跟踪内窥镜的位置的装置和方法 |
-
2018
- 2018-08-29 CN CN201810997357.XA patent/CN109241898B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108292366A (zh) * | 2015-09-10 | 2018-07-17 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的***和方法 |
CN108430373A (zh) * | 2015-10-28 | 2018-08-21 | 安多卓思公司 | 用于在患者体内跟踪内窥镜的位置的装置和方法 |
WO2017175282A1 (ja) * | 2016-04-04 | 2017-10-12 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
CN105913075A (zh) * | 2016-04-05 | 2016-08-31 | 浙江工业大学 | 一种基于脉冲耦合神经网络的内窥图像中病灶识别方法 |
CN107256552A (zh) * | 2017-06-14 | 2017-10-17 | 成都康托医疗设备有限公司 | 息肉图像识别***及方法 |
CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测***及检测方法 |
CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、***及存储装置 |
CN108055454A (zh) * | 2017-12-08 | 2018-05-18 | 合肥工业大学 | 医用内窥镜人工智能芯片的体系架构及图像处理方法 |
Non-Patent Citations (11)
Title |
---|
JOSEPH REDMON等: ""YOLO9000:Better,Faster,Stronger"", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
JOSEPH REDMON等: ""You only look once:Unified,real-time object detection"", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
KONSTANTIN POGORELOV等: ""Deep learning and hand-crafted feature based approaches for polyp detection in medical videos"", 《2018 IEEE 31ST INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS (CBMS)》 * |
KONSTANTIN POGORELOV等: ""Efficient disease detection in gastrointestinal videos – global features versus neural networks"", 《MULTIMEDIA TOOLS AND APPLICATIONS》 * |
SAHIL SINGLA等: ""新型池化层sort_pool2d实现更快更好的收敛:表现优于最大池化层(附代码实现)"", 《HTTP://WWW.SOHU.COM/A/195961723_465975》 * |
TORBJØRN N. HØILAND: ""Automatic Analysis of Endoscopic Videos"", 《MASTER’S THESIS OF UNIVERSITY OF OSLO》 * |
XI MO等: ""An Efficient Approach for Polyps Detection in Endoscopic Videos Based on Faster R-CNN"", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
YALI ZHENG等: ""Localisation of Colorectal Polyps by Convolutional Neural Network Features Learnt from White Light and Narrow Band Endoscopic Images of Multiple Databases"", 《2018 40TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》 * |
周纪强: ""监控视频中多类目标检测与多目标跟踪算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王成墨: "《MATLAB在遥感技术中的应用》", 30 September 2016, 北京航空航天大学出版社 * |
陈响: ""面向公交车场景的视频关键帧提取算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241931A (zh) * | 2019-12-30 | 2020-06-05 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
CN111241931B (zh) * | 2019-12-30 | 2023-04-18 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
CN113297420A (zh) * | 2021-04-30 | 2021-08-24 | 百果园技术(新加坡)有限公司 | 视频图像处理方法、装置、存储介质及电子设备 |
CN114220060A (zh) * | 2021-12-24 | 2022-03-22 | 萱闱(北京)生物科技有限公司 | 基于人工智能的器具标注方法、装置、介质和计算设备 |
CN115082487A (zh) * | 2022-08-23 | 2022-09-20 | 深圳华声医疗技术股份有限公司 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
CN115082487B (zh) * | 2022-08-23 | 2022-12-13 | 深圳华声医疗技术股份有限公司 | 超声图像切面质量评价方法、装置、超声设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109241898B (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109241898A (zh) | 腔镜视像的目标定位方法和***、存储介质 | |
US10482313B2 (en) | Method and system for classification of endoscopic images using deep decision networks | |
CN111383214B (zh) | 实时内窥镜肠镜息肉检测*** | |
Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
US20220125280A1 (en) | Apparatuses and methods involving multi-modal imaging of a sample | |
WO2021254205A1 (zh) | 一种目标检测方法及装置 | |
WO2018082084A1 (zh) | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 | |
US8111896B2 (en) | Method and system for automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and commputer program therefor | |
US20180108138A1 (en) | Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data | |
CN110992377B (zh) | 图像分割方法、装置、计算机可读存储介质和设备 | |
CN108596237B (zh) | 一种基于颜色和血管的lci激光内镜下的结肠息肉分类装置 | |
CN108292366A (zh) | 在内窥镜手术中检测可疑组织区域的***和方法 | |
Deligiannidis et al. | Emerging trends in image processing, computer vision and pattern recognition | |
Münzer et al. | Relevance segmentation of laparoscopic videos | |
CN107563996B (zh) | 一种新型视神经盘分割方法及*** | |
CN106650794A (zh) | 一种受物体表面高光反射影响的图像高光消除方法及*** | |
CN111178369B (zh) | 一种医学影像的识别方法及***、电子设备、存储介质 | |
CN116681958B (zh) | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 | |
CN113822198B (zh) | 基于uav-rgb图像和深度学习的花生生长监测方法、***及介质 | |
CN109171605A (zh) | 带目标定位和腔镜视像增强处理功能的智能边缘计算*** | |
CN109190456A (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
CN105631456B (zh) | 一种基于粒子群优化itti模型的白细胞区域提取方法 | |
WO2020224508A1 (zh) | 一种对实时影像中图像的物体轮廓进行加强的方法 | |
CN115063592A (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及*** | |
Lin et al. | A desmoking algorithm for endoscopic images based on improved U‐Net model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |