CN111915573A - 一种基于时序特征学习的消化内镜下病灶跟踪方法 - Google Patents

一种基于时序特征学习的消化内镜下病灶跟踪方法 Download PDF

Info

Publication number
CN111915573A
CN111915573A CN202010674583.1A CN202010674583A CN111915573A CN 111915573 A CN111915573 A CN 111915573A CN 202010674583 A CN202010674583 A CN 202010674583A CN 111915573 A CN111915573 A CN 111915573A
Authority
CN
China
Prior art keywords
optical flow
tracking
network
digestive
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010674583.1A
Other languages
English (en)
Inventor
张阔
刘奇为
于天成
胡珊
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202010674583.1A priority Critical patent/CN111915573A/zh
Publication of CN111915573A publication Critical patent/CN111915573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医疗图像处理技术领域，尤其涉及一种基于时序特征学习的消化内镜下病灶跟踪方法，本方法包含收集病灶视频片段作为训练样本、构建并训练基于卷积神经网络和长短期记忆网络和光流矢量图的跟踪模型，获得网络模型参数、获取消化内镜实时检查视频并解帧为图片、计算相邻两帧图像的光流矢量图、加载基于卷积神经网络和长短期记忆网络和光流矢量图的网络结构及模型参数、实时计算病灶的区域及位置。通过此方法，在消化内镜检查过程中会实时跟踪病灶的区域及位置，供内镜医生参考，可以有效的防止在检查过程中由于光照、角度、遮挡等原因丢失病灶区域。可以提升消化内镜下的病灶的检测和跟踪能力，有效地提高消化内镜的检查质量。

Description

一种基于时序特征学习的消化内镜下病灶跟踪方法
技术领域
本发明涉及医疗图像处理技术领域，尤其涉及一种基于时序特征学习的消化内镜下病灶跟踪方法。
背景技术
《世界癌症报告》指出，癌症是全球主要死因之一，而消化道肿瘤是最常见的恶性肿瘤之一。2015年我国胃癌、结肠癌患病人数大于100万，死亡人数近70万，占癌症总死亡人数的1/4。恶性肿瘤危害人类健康的根本原因是难以早期发现。消化道肿瘤若在早期阶段得到诊断，患者5年生存率可高达90％，若进展至中晚期，患者5年生存率仅为5-25％。因此早期诊断是提高患者生存率的重要策略。消化内镜检查是发现胃肠癌最常用的有力工具。根据国家卫健委内镜诊疗技术专家组报道，2017年我国早期胃癌发现率仅为13％，远远落后于疾病谱相仿的日本(70％)和韩国(50％)等邻国。提高消化内镜的检查质量，刻不容缓。
近年来，以深度神经网络为核心的人工智能技术在多个应用领域成绩斐然。近期一些研究成果表明，计算机通过深度神经网络算法，基于大规模数据集训练的人工智能模型可以在许多应用中取得接近甚至超过人类的表现。深度学习网络目前也应用到了消化内镜中，通过对病灶的检测识别来辅助医生检查。现有技术均采用卷积神经网络(CNN)架构对结肠镜检查中的息肉进行检测，但是目前大多数的卷积神经网络(CNN)方法都是独立地对单帧图像上的病灶进行检测，帧之间较小的波动会导致检测结果的巨大抖动，并且受光照、角度、遮挡等原因影响较大，容易丢失对病灶的检测。刘全胜等人提出基于加速稳健特征(SURF)的模板匹配跟踪算法对肿瘤图像进行跟踪，该论文采用传统的模板匹配算法，需要手动设定Hessian矩阵的阈值，只能用于选取的特定的视频，不具备泛化能力。CN104758004A专利发明了一种超声影像中病灶追踪方法，该发明利用人工提取的图像特征且需要用户输入参考ROI，具有一定的局限性。综上所述，现有的病灶追踪技术受光照、角度变化及遮挡的影响大，准确度低，为此，我们提出一种基于时序特征学习的消化内镜下病灶跟踪方法。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于时序特征学习的消化内镜下病灶跟踪方法，具有从空间特征、速度矢量、时间序列特征三个维度来完成对病灶的跟踪，具有很高的准确度的特点，解决了现有的病灶追踪技术受光照、角度变化及遮挡的影响大，准确度低的问题。
本发明提供如下技术方案：一种基于时序特征学习的消化内镜下病灶跟踪方法，包括如下步骤：
S1、收集包含病灶的视频片段，将训练片段解帧为图片，由人工标注病灶，并利用解帧后的相邻图片计算光流矢量图；
S2、构建基于卷积神经网络的特征提取网络和基于长短期记忆网络的时间序列预测网络，利用标注后的连续帧图片和对应的光流矢量图作为训练样本对该网络进行训练；
S3、通过内镜检查设备获取消化内镜检查实时视频，缓存当前帧与上一帧的消化内镜图片，并计算当前帧与上一帧两张图片的光流矢量图；
S4、将当前帧内镜图像通过特征提取网络获得特征图，特征图和当前帧的光流矢量经过变形操作得到新的特征图，新的特征图送入时间序列预测网络，计算得出下一帧的病灶预测范围。
优选的，所述特征提取网络由卷积层、ReLU激活层和池化层组成，卷积层用于提取输入消化内镜图像的不同数据特征，ReLU激活层用于把卷积层的输出结果做非线性映射，池化层用于筛选特征。
优选的，所述时间序列预测网络由遗忘门、传入门和输出门组成，遗忘门用于决定让哪些信息继续通过该细胞元，传入门用于决定让多少信息加入到细胞元状态中，输出门用于决定输出哪些信息。
优选的，所述时间序列预测网络是根据损失函数进行训练的，所述的损失函数为：
Loss(y,v)＝log(1+e(-yv))；
其中v表示训练集中等待训练的图像的每个像素的真实值，y∈{+1,-1}表示病灶跟踪范围的标签；通过最小化上述损失函数来训练模型。
优选的，所述步骤S2中人工标注的消化内镜图像通过特征提取网络生成特征图，该特征图与对应的光流矢量图融合后进行变形操作得到新的特征图，新的特征图送入时间序列预测网络，训练完毕后得到该网络模型的权重参数，用于后续的计算预测。
优选的，所述步骤S4计算得出下一帧的病灶预测范围的结果是与输入尺寸大小相同的矩阵数据，其中每个数据代表该位置像素是否为病灶的概率值，由此最终得出病灶范围。
优选的，所述步骤S1和步骤S3中利用TV-L1光流模型来计算连续两帧图像的光流，得到相邻两帧图像的光流矢量图F；TV-L1光流模型的能量函数如下：
Figure BDA0002583583180000031
其中，I0和I1是连续两帧图像，x是I0上一个像素点；u是二维光流矢量，
Figure BDA0002583583180000032
和
Figure BDA0002583583180000033
是二维梯度，参数λ是数据项的权值常数，第一项为数据约束项，表示同一像素点在前后两帧图像间的灰度值差；第二项是运动正则化约束，即假设运动是连续的。
优选的，所述步骤S2中的训练采用随机梯度下降法来训练，采用SGD优化器，其中学习率0.001，动量值momentum为0.9，权重衰减系数为0.005，训练完成后，获得模型的权重系数。
本发明提供了一种基于时序特征学习的消化内镜下病灶跟踪方法，采用融合了光流信息和深度学习框架的方法来完成对消化内镜下病灶的跟踪。采用卷积神经网络(CNN)来完成病灶特征的提取，采用光流法来计算每帧图像的光流矢量图，采用长短期记忆网络(LSTM)来完成对前后帧时序信息特征的提取。本发明可以从空间特征、速度矢量、时间序列特征三个维度来完成对病灶的跟踪，具有很高的准确度，且受光照、角度变化及遮挡的影响很小，具有很强的适应性，很好地辅助内镜医生对病灶的检测和观察，提高消化内镜的检查质量。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例中对息肉病灶的标注示意图；
图3为本发明实施例中基于实现特征学习的网络结构图；
图4为本发明实施例中病灶跟踪演示图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供一种技术方案：一种基于时序特征学习的消化内镜下病灶跟踪方法，包括如下步骤：
S1、收集包含病灶的视频片段，将训练片段解帧为图片，由人工标注病灶，并利用解帧后的相邻图片计算光流矢量图；
S2、构建基于卷积神经网络的特征提取网络和基于长短期记忆网络的时间序列预测网络，利用标注后的连续帧图片和对应的光流矢量图作为训练样本对该网络进行训练；
S3、通过内镜检查设备获取消化内镜检查实时视频，缓存当前帧与上一帧的消化内镜图片，并计算当前帧与上一帧两张图片的光流矢量图；
S4、将当前帧内镜图像通过特征提取网络获得特征图，特征图和当前帧的光流矢量经过变形操作得到新的特征图，新的特征图送入时间序列预测网络，计算得出下一帧的病灶预测范围。
实施例：
S1，收集400例不同肠镜下检查视频片段，其中Olympus和Fujifilm公司的内窥镜检查视频各200例，每个案例的视频片段均包含对息肉病灶的完整检测过程。
将收集的息肉视频片段解帧为图片，对图片集进行清理，去掉图片集中模糊、病灶不清晰等类型的不合格图片。将图片尺寸缩小到512*512，由专业医生对处理后的连续图片集的息肉病灶边界用VGGImageAnnotator(VIA)标注软件进行人工标注，标注示意图见图2所示。
利用TV-L1光流模型来计算连续两帧图像的光流，得到相邻两帧图像的光流矢量图F。TV-L1光流模型的能量函数如下：
Figure BDA0002583583180000051
其中，I0和I1是连续两帧图像，x是I0上一个像素点。u是二维光流矢量，
Figure BDA0002583583180000052
和
Figure BDA0002583583180000053
是二维梯度，参数λ是数据项的权值常数，第一项为数据约束项，表示同一像素点在前后两帧图像间的灰度值差；第二项是运动正则化约束，即假设运动是连续的。用ρ(u)表示
Figure BDA0002583583180000054
引进辅助变量，可以写成凸函数形式：
Figure BDA0002583583180000061
其中，θ是一个很小的常数，在迭代过程中，只有当u和v接近的时候，可以使上述能量泛函数取得最小值。将该能量泛函数写成具体二维形式的数学模型：
Figure BDA0002583583180000062
其中，u1和u2分别表示x方向的光流和y方向的光流。利用原始对偶算法的交替迭代方法优化上述模型，可求得光流。
S2，构建基于卷积神经网络(CNN)的特征提取网络，特征提取网络采用医学常用的UNet网络，UNet网络是一个对称的网络结构，左侧为下采样，称为encoder，右侧为上采用，称为decoder，中间为跳层连接。特征提取网络核心由3*3的卷积层、ReLU激活层和2*2的最大池化层组成。卷积层用于提取输入消化内镜图像的不同数据特征，ReLU激活层用于把卷积层的输出结果做非线性映射，池化层用于筛选维度较小的特征。网络结构如图3所示。激活函数ReLU为：
Figure BDA0002583583180000063
其中，x指输入的权重特征向量，α为系数。
构建基于长短期记忆网络(LSTM)的时间序列预测网络，LSTM是一种特殊的循环神经网络(RNN)，是一种用于处理序列数据的神经网络，该网络主要由遗忘门、传入门和输出门组成。遗忘门用于决定让哪些信息继续通过该细胞元，传入门用于让多少信息加入到细胞元状态中，输出门用于决定输出哪些信息。
其公式为：
ft＝σ(Wf·[ht-1,xt]+bf)；
it＝σ(Wi·[ht-1,xt]+bi)；
Figure BDA0002583583180000071
Figure BDA0002583583180000072
ot＝σ(Wo[ht-1,xt]+bo)；
ht＝ot*tanh[Ct]；
其中，ft是遗忘门在t时刻的状态，it是输入门在t时刻的状态，ot是输出门在t时刻的状态，
Figure BDA0002583583180000073
是调制门在t时刻的状态，Ct是记忆单元在t时刻的状态，ht是LSTM在t时刻最终输出状态，xt是LSTM单元在t时刻的输入，W为网络权重，b为网络的偏置。定义LSTM的输入大小值为512*512，隐藏大小值为512，即512个LSTM单元，LSTM的输入和输出之间还有一层Dropout层，减少模型过拟合，增加模型的泛化能力。
将人工标注的消化内镜图像和对应的光流矢量图F组成训练样本，并使用构建的网络模型进行训练，其中人工标注的消化内镜图像通过特征提取网络生成特征图，该特征图与对应的光流矢量图融合后进行变形(Warp)操作得到新的特征图，变形操作可以直接通过OpenCV(跨平台计算机视觉库)自带的remap函数实现。新的特征图送入时间序列预测网络。训练完毕后得到该网络模型的权重参数，用于后续的计算预测。
上述时间序列预测网络是根据损失函数进行训练的，损失函数为：
Loss(y,v)＝log(1+e(-yv))；
其中v表示训练集中等待训练的图像的每个像素的真实值，y∈{+1,-1}表示病灶跟踪范围的标签；上述模型采用随机梯度下降法来训练，采用SGD优化器，其中学习率0.001，动量值momentum为0.9，权重衰减系数为0.005。训练完成后，获得模型的权重系数。
S3，通过内镜检查设备获取消化内镜检查的实时视频，将视频解帧为图片，缓存当前帧与上一帧的图像。利用TV-L1光流模型来计算当前帧与上一帧两张内镜图像的光流矢量图F(计算方式与步骤S1中相同)。
S4，加载步骤S2中已经训练好的网络模型及对应的权重参数，将当前帧内镜图像通过S4中的特征提取网络获得特征图，特征图和当前帧的光流矢量经过变形(Warp)操作得到新的特征图。新的特征图送入时间序列预测网络，计算得出下一帧的病灶预测范围。结果是和输入尺寸大小相同的矩阵数据，其中每个数据代表该位置像素是否为病灶的概率值，由此最终得出跟踪的病灶范围结果。
本发明中，通过采用融合了光流信息和深度学习框架的方法来完成对消化内镜下病灶的跟踪。采用卷积神经网络(CNN)来完成病灶特征的提取，采用光流法来计算每帧图像的光流矢量图，采用长短期记忆网络(LSTM)来完成对前后帧时序信息特征的提取。本发明可以从空间特征、速度矢量、时间序列特征三个维度来完成对病灶的跟踪，具有很高的准确度，且受光照、角度变化及遮挡的影响很小，具有很强的适应性，很好地辅助内镜医生对病灶的检测和观察，提高消化内镜的检查质量。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：包括如下步骤：
S1、收集包含病灶的视频片段，将训练片段解帧为图片，由人工标注病灶，并利用解帧后的相邻图片计算光流矢量图；
S2、构建基于卷积神经网络的特征提取网络和基于长短期记忆网络的时间序列预测网络，利用标注后的连续帧图片和对应的光流矢量图作为训练样本对该网络进行训练；
S3、通过内镜检查设备获取消化内镜检查实时视频，缓存当前帧与上一帧的消化内镜图片，并计算当前帧与上一帧两张图片的光流矢量图；
S4、将当前帧内镜图像通过特征提取网络获得特征图，特征图和当前帧的光流矢量经过变形操作得到新的特征图，新的特征图送入时间序列预测网络，计算得出下一帧的病灶预测范围。
2.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述特征提取网络由卷积层、ReLU激活层和池化层组成，卷积层用于提取输入消化内镜图像的不同数据特征，ReLU激活层用于把卷积层的输出结果做非线性映射，池化层用于筛选特征。
3.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述时间序列预测网络由遗忘门、传入门和输出门组成，遗忘门用于决定让哪些信息继续通过该细胞元，传入门用于决定让多少信息加入到细胞元状态中，输出门用于决定输出哪些信息。
4.根据权利要求3所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述时间序列预测网络是根据损失函数进行训练的，所述的损失函数为：
Loss(y,v)＝log(1+e(-yv))；
其中v表示训练集中等待训练的图像的每个像素的真实值，y∈{+1,-1}表示病灶跟踪范围的标签；通过最小化上述损失函数来训练模型。
5.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述步骤S2中人工标注的消化内镜图像通过特征提取网络生成特征图，该特征图与对应的光流矢量图融合后进行变形操作得到新的特征图，新的特征图送入时间序列预测网络，训练完毕后得到该网络模型的权重参数，用于后续的计算预测。
6.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述步骤S4计算得出下一帧的病灶预测范围的结果是与输入尺寸大小相同的矩阵数据，其中每个数据代表该位置像素是否为病灶的概率值，由此最终得出病灶范围。
7.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述步骤S1和步骤S3中利用TV-L1光流模型来计算连续两帧图像的光流，得到相邻两帧图像的光流矢量图F；TV-L1光流模型的能量函数如下：
Figure FDA0002583583170000021
其中，I0和I1是连续两帧图像，x是I0上一个像素点；u是二维光流矢量，
Figure FDA0002583583170000022
和
Figure FDA0002583583170000023
是二维梯度，参数λ是数据项的权值常数，第一项为数据约束项，表示同一像素点在前后两帧图像间的灰度值差；第二项是运动正则化约束，即假设运动是连续的。
8.根据权利要求1所述的一种基于时序特征学习的消化内镜下病灶跟踪方法，其特征在于：所述步骤S2中的训练采用随机梯度下降法来训练，采用SGD优化器，其中学习率0.001，动量值momentum为0.9，权重衰减系数为0.005，训练完成后，获得模型的权重系数。
CN202010674583.1A 2020-07-14 2020-07-14 一种基于时序特征学习的消化内镜下病灶跟踪方法 Pending CN111915573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010674583.1A CN111915573A (zh) 2020-07-14 2020-07-14 一种基于时序特征学习的消化内镜下病灶跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010674583.1A CN111915573A (zh) 2020-07-14 2020-07-14 一种基于时序特征学习的消化内镜下病灶跟踪方法

Publications (1)

Publication Number Publication Date
CN111915573A true CN111915573A (zh) 2020-11-10

Family

ID=73281494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010674583.1A Pending CN111915573A (zh) 2020-07-14 2020-07-14 一种基于时序特征学习的消化内镜下病灶跟踪方法

Country Status (1)

Country Link
CN (1) CN111915573A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446862A (zh) * 2020-11-25 2021-03-05 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法
CN112529892A (zh) * 2020-12-21 2021-03-19 苏州中科华影健康科技有限公司 消化道内镜病变图像检测方法、***和计算机存储介质
CN113129287A (zh) * 2021-04-22 2021-07-16 武汉楚精灵医疗科技有限公司 一种针对上消化道内镜影像的病灶自动留图方法
CN113393425A (zh) * 2021-05-19 2021-09-14 武汉大学 胃黏膜染色放大成像的微血管分布对称性量化方法
CN113469985A (zh) * 2021-07-13 2021-10-01 中国科学院深圳先进技术研究院 内镜图像特征点提取方法
CN113487605A (zh) * 2021-09-03 2021-10-08 北京字节跳动网络技术有限公司 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113496512A (zh) * 2021-09-06 2021-10-12 北京字节跳动网络技术有限公司 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113689469A (zh) * 2021-08-24 2021-11-23 复旦大学附属中山医院 一种自动识别超声造影小肝癌病灶的方法及超声***
CN113744266A (zh) * 2021-11-03 2021-12-03 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质
CN114091507A (zh) * 2021-09-02 2022-02-25 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN114372978A (zh) * 2022-02-10 2022-04-19 北京安德医智科技有限公司 一种超声造影影像分类方法及装置、电子设备和存储介质
WO2022170562A1 (zh) * 2021-02-10 2022-08-18 中国科学院深圳先进技术研究院 一种消化内镜导航方法和***
CN116188460A (zh) * 2023-04-24 2023-05-30 青岛美迪康数字工程有限公司 基于运动矢量的图像识别方法、装置和计算机设备
CN117796745A (zh) * 2024-02-29 2024-04-02 四川大学 一种估计消化内镜镜头进退距离的方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700117A (zh) * 2013-11-21 2014-04-02 北京工业大学 一种基于tv-l1变分模型的鲁棒光流场估计方法
US20170255832A1 (en) * 2016-03-02 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting Actions in Videos
US20180253839A1 (en) * 2015-09-10 2018-09-06 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
US20180296281A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记***及方法
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109886243A (zh) * 2019-03-01 2019-06-14 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质、设备以及***
US20190228264A1 (en) * 2017-03-08 2019-07-25 Tencent Technology (Shenzhen) Company Limited Method and apparatus for training neural network model used for image processing, and storage medium
CN110619655A (zh) * 2019-08-23 2019-12-27 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置
JP2020027659A (ja) * 2018-08-10 2020-02-20 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 畳み込み回帰型ニューラルネットワークを訓練させる方法、および訓練された畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及***
CN111383214A (zh) * 2020-03-10 2020-07-07 苏州慧维智能医疗科技有限公司 实时内窥镜肠镜息肉检测***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700117A (zh) * 2013-11-21 2014-04-02 北京工业大学 一种基于tv-l1变分模型的鲁棒光流场估计方法
US20180253839A1 (en) * 2015-09-10 2018-09-06 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
US20170255832A1 (en) * 2016-03-02 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting Actions in Videos
US20190228264A1 (en) * 2017-03-08 2019-07-25 Tencent Technology (Shenzhen) Company Limited Method and apparatus for training neural network model used for image processing, and storage medium
US20180296281A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
CN108685560A (zh) * 2017-04-12 2018-10-23 香港生物医学工程有限公司 用于机器人内窥镜的自动化转向***和方法
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记***及方法
JP2020027659A (ja) * 2018-08-10 2020-02-20 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 畳み込み回帰型ニューラルネットワークを訓練させる方法、および訓練された畳み込み回帰型ニューラルネットワークを使用する、入力されたビデオのセマンティックセグメンテーション方法
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109886243A (zh) * 2019-03-01 2019-06-14 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质、设备以及***
CN110619655A (zh) * 2019-08-23 2019-12-27 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及***
CN111383214A (zh) * 2020-03-10 2020-07-07 苏州慧维智能医疗科技有限公司 实时内窥镜肠镜息肉检测***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄友文;万超伦;: "基于深度学习的人体行为识别算法", 电子技术应用, no. 10 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446862A (zh) * 2020-11-25 2021-03-05 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法
CN112529892A (zh) * 2020-12-21 2021-03-19 苏州中科华影健康科技有限公司 消化道内镜病变图像检测方法、***和计算机存储介质
WO2022170562A1 (zh) * 2021-02-10 2022-08-18 中国科学院深圳先进技术研究院 一种消化内镜导航方法和***
CN113129287A (zh) * 2021-04-22 2021-07-16 武汉楚精灵医疗科技有限公司 一种针对上消化道内镜影像的病灶自动留图方法
CN113393425A (zh) * 2021-05-19 2021-09-14 武汉大学 胃黏膜染色放大成像的微血管分布对称性量化方法
CN113393425B (zh) * 2021-05-19 2022-04-26 武汉大学 胃黏膜染色放大成像的微血管分布对称性量化方法
CN113469985A (zh) * 2021-07-13 2021-10-01 中国科学院深圳先进技术研究院 内镜图像特征点提取方法
CN113689469A (zh) * 2021-08-24 2021-11-23 复旦大学附属中山医院 一种自动识别超声造影小肝癌病灶的方法及超声***
CN114091507A (zh) * 2021-09-02 2022-02-25 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN113487605A (zh) * 2021-09-03 2021-10-08 北京字节跳动网络技术有限公司 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113487605B (zh) * 2021-09-03 2021-11-19 北京字节跳动网络技术有限公司 用于内窥镜的组织腔体定位方法、装置、介质及设备
WO2023029741A1 (zh) * 2021-09-03 2023-03-09 北京字节跳动网络技术有限公司 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113496512B (zh) * 2021-09-06 2021-12-17 北京字节跳动网络技术有限公司 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113496512A (zh) * 2021-09-06 2021-10-12 北京字节跳动网络技术有限公司 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113744266A (zh) * 2021-11-03 2021-12-03 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质
CN114372978A (zh) * 2022-02-10 2022-04-19 北京安德医智科技有限公司 一种超声造影影像分类方法及装置、电子设备和存储介质
CN114372978B (zh) * 2022-02-10 2022-06-28 北京安德医智科技有限公司 一种超声造影影像分类方法及装置、电子设备和存储介质
CN116188460A (zh) * 2023-04-24 2023-05-30 青岛美迪康数字工程有限公司 基于运动矢量的图像识别方法、装置和计算机设备
CN116188460B (zh) * 2023-04-24 2023-08-25 青岛美迪康数字工程有限公司 基于运动矢量的图像识别方法、装置和计算机设备
CN117796745A (zh) * 2024-02-29 2024-04-02 四川大学 一种估计消化内镜镜头进退距离的方法
CN117796745B (zh) * 2024-02-29 2024-05-03 四川大学 一种估计消化内镜镜头进退距离的方法

Similar Documents

Publication Publication Date Title
CN111915573A (zh) 一种基于时序特征学习的消化内镜下病灶跟踪方法
He et al. Hookworm detection in wireless capsule endoscopy images with deep learning
Oberweger et al. Deepprior++: Improving fast and accurate 3d hand pose estimation
Yu et al. Integrating online and offline three-dimensional deep learning for automated polyp detection in colonoscopy videos
US20220207728A1 (en) Quality assessment in video endoscopy
Guo et al. Semi-supervised WCE image classification with adaptive aggregated attention
Gridach PyDiNet: Pyramid dilated network for medical image segmentation
Souaidi et al. A new automated polyp detection network MP-FSSD in WCE and colonoscopy images based fusion single shot multibox detector and transfer learning
Poorneshwaran et al. Polyp segmentation using generative adversarial network
CN114266786A (zh) 基于生成对抗网络的胃病变分割方法及***
Vani et al. Ulcer detection in Wireless Capsule Endoscopy images using deep CNN
CN112529892A (zh) 消化道内镜病变图像检测方法、***和计算机存储介质
CN114511502A (zh) 一种基于人工智能的胃肠道内窥镜图像息肉检测***、终端及存储介质
CN115223193B (zh) 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法
CN113781489A (zh) 一种息肉影像语义分割方法及装置
CN114399465A (zh) 良恶性溃疡识别方法及***
CN116935044A (zh) 一种多尺度引导和多层次监督的内镜息肉分割方法
Zhou et al. Dual-path multi-scale context dense aggregation network for retinal vessel segmentation
Chen et al. MS-FANet: multi-scale feature attention network for liver tumor segmentation
Yue et al. Boundary uncertainty aware network for automated polyp segmentation
Liu et al. Attention combined pyramid vision transformer for polyp segmentation
Garcia-Peraza-Herrera et al. Interpretable fully convolutional classification of intrapapillary capillary loops for real-time detection of early squamous neoplasia
Zhang et al. Deep learning for gastric location classification: An analysis of location boundaries and improvements through attention and contrastive learning
Siddiqui et al. CG‐Net: A novel CNN framework for gastrointestinal tract diseases classification
Zhang et al. Maef-net: Mlp attention for feature enhancement in u-net based medical image segmentation networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination