CN106934799B - 胶囊内窥镜图像辅助阅片***及方法 - Google Patents

胶囊内窥镜图像辅助阅片***及方法 Download PDF

Info

Publication number
CN106934799B
CN106934799B CN201710104172.7A CN201710104172A CN106934799B CN 106934799 B CN106934799 B CN 106934799B CN 201710104172 A CN201710104172 A CN 201710104172A CN 106934799 B CN106934799 B CN 106934799B
Authority
CN
China
Prior art keywords
module
image
training
model
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710104172.7A
Other languages
English (en)
Other versions
CN106934799A (zh
Inventor
张行
张皓
袁文金
王新宏
段晓东
肖国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ankon Technologies Co Ltd
Original Assignee
Anhan Science And Technology (wuhan) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhan Science And Technology (wuhan) Co Ltd filed Critical Anhan Science And Technology (wuhan) Co Ltd
Priority to CN201710104172.7A priority Critical patent/CN106934799B/zh
Publication of CN106934799A publication Critical patent/CN106934799A/zh
Application granted granted Critical
Publication of CN106934799B publication Critical patent/CN106934799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种胶囊内窥镜图像辅助阅片***，它的数据获取模块用于获取检查者的胶囊内窥镜图像数据；图像位置分类模块用于利用第一卷积神经网络CNN模型将胶囊内窥镜图像按拍摄部位的不同进行分类，得到不同拍摄部位的图像序列；图像序列描述模块用于利用第二卷积神经网络CNN模型对不同拍摄部位的图像序列进行图像特征提取得到不同消化道部位图像序列的特征矢量序列；图像序列描述模块还用于利用递归神经网络RNN模型将特征矢量序列中的图像特征转化为描述性文字，从而形成辅助诊断报告。本发明可以减少医生观看消化道图像的工作量，提高医生的诊断效率。

Description

胶囊内窥镜图像辅助阅片***及方法
技术领域
本发明涉及医用设备领域，具体地指一种胶囊内窥镜图像辅助阅片***及方法。
背景技术
消化道疾病如胃癌、肠癌、急慢性胃炎、溃疡病等，多为常见病、多发病，它对人类的健康有很大的威胁。2015年全国肿瘤登记中心调查数据显示，消化道癌症占全部癌症发病率的43％。传统的光纤式内窥镜需***病人体内进行观察，极为不便，而且给患者造成了痛苦。胶囊内窥镜能够以无痛无创的方式对整个消化道进行检查，是一场革命性的技术突破。胶囊内窥镜在进行检测的过程中会采集大约50000张图像，大量的图像数据使得医生的阅片工作变得艰巨且耗时。
基于深度学习的图像识别以及图像和视频的描述方法成为了近年来国内外非常热门的领域之一。随着深度学习方法在图片分类与定位(ImageNet数据集)以及图像语义理解(COCO数据集)等方面取得突破性的进展，深度学习技术也越来越多的应用于辅助医学诊断领域。目前已经有将深度学习技术应用于皮肤癌、脑部肿瘤、肺癌等的辅助检测，对于将深度学习技术用于消化道图像辅助诊断方面的研究尚不多见。
专利公开号为CN103984957A的中国专利，公开了一种胶囊内窥镜图像可疑病变区域自动预警***，该***采用图像增强模块对图像进行自适应增强，再通过纹理特征提取模块对平坦性病变的纹理特征进行检测，最后用分类预警模块进行分类，实现了对小肠平坦性病变的检测和预警功能。
上述方案只能对可疑病变区域进行预警，并不能对病灶进行分类识别，效果单一，而且不能给出疾病的位置信息。不利于医生对病灶的准确判断。
发明内容
本发明的目的就是要提供一种胶囊内窥镜图像辅助阅片***及方法，本发明利用机器学习技术，首先对消化道图像进行位置分类，得到消化道位置分类数据，并且能够检测出包含可疑病灶的图像，进一步根据检测出的可疑病灶图像生成诊断报告，将这些可疑病灶的图像和诊断报告展现给医生，支持医生对图像中的可疑病灶(如出血、息肉、溃疡等)进行进一步诊断分析，从而大大减少医生观看消化道图像的工作量，提高医生的诊断效率。
为实现此目的，本发明所设计的一种胶囊内窥镜图像辅助阅片***，其特征在于，它包括数据获取模块、图像位置分类模块和图像序列描述模块，其中，数据获取模块的信号输出端连接图像位置分类模块的信号输入端，图像位置分类模块的信号输出端连接图像序列描述模块的信号输入端；
所述数据获取模块用于获取检查者的胶囊内窥镜图像数据；所述图像位置分类模块用于将所述的胶囊内窥镜图像数据按照拍摄的消化道部位的不同分为不同的图像序列；所述图像序列描述模块用于识别消化道不同部位的图像序列中的病灶，并生成对图像序列的描述性文字，从而形成诊断报告。
一种利用上述***的胶囊内窥镜图像辅助阅片方法，其特征在于，它包括如下步骤：
步骤1：数据获取模块获取检查者的胶囊内窥镜图像数据；
步骤2：数据获取模块将获取的检查者的胶囊内窥镜图像数据输入到图像位置分类模块内的第一卷积神经网络CNN(Convolutional Neural Network，CNN)模型中按照拍摄部位的不同进行图像分类，从而得到不同消化道部位的图像序列；
步骤3：图像位置分类模块将不同消化道部位的图像序列发送给图像序列描述模块的第二卷积神经网络CNN模型中，得到不同消化道部位图像序列的特征矢量序列，不同消化道部位的图像序列中的每一张图像均对应一个特征矢量，所有的特征矢量组成特征矢量序列；
步骤4：将特征矢量序列输入到图像序列描述模块的递归神经网络RNN(RecurrentNeural Network)模型中得到不同消化道部位的图像序列的描述性文字，图像序列描述模块根据上述不同消化道部位的图像序列的描述性文字生成辅助诊断报告。
本发明采用深度学习模型，通过模型的训练自动学习如何按照拍摄的消化道位置进行图像分类、识别图像中的病灶以及生成描述性文字，继而帮助医生处理大量的消化道图像，最终辅助医生做出正确判断和有效决策。本发明可以大大降低医生的工作量和工作压力，提高其工作效率。
附图说明
图1为本发明的结构框图；
图2为本发明中加入模型训练模块的结构框图；
图3为本发明中图像序列描述方法的网络结构图；
图4为本发明中LSTM网络的结构图；
其中，1—数据获取模块、2—图像位置分类模块、3—图像序列描述模块、4—人机交互模块、5—模型训练模块。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明：
如图1和2所示的胶囊内窥镜图像辅助阅片***，它包括数据获取模块1、图像位置分类模块2和图像序列描述模块3，其中，数据获取模块1的信号输出端连接图像位置分类模块2的信号输入端，图像位置分类模块2的信号输出端连接图像序列描述模块3的信号输入端；
所述数据获取模块1用于获取检查者的胶囊内窥镜图像数据；所述图像位置分类模块2用于将所述的胶囊内窥镜图像数据按照拍摄的消化道部位的不同分为不同的图像序列；所述图像序列描述模块3用于识别消化道不同部位的图像序列中的病灶，并生成对图像序列的描述性文字，从而形成诊断报告。
上述技术方案中，所述图像位置分类模块2用于使用第一卷积神经网络CNN模型将胶囊内窥镜图像按拍摄部位的不同进行分类，分为包括食道、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠、空肠、回肠等部位的图像序列。
上述技术方案中，所述图像序列描述模块3用于利用第二卷积神经网络CNN模型对不同拍摄部位的图像序列进行图像特征提取得到不同消化道部位图像序列的特征矢量序列；所述图像序列描述模块3还用于利用递归神经网络RNN模型将特征矢量序列中的图像特征转化为描述性文字，从而形成辅助诊断报告。
上述技术方案中，它还包括人机交互模块4，所述图像序列描述模块3的信号输出端连接人机交互模块4的信号输入端；
所述人机交互模块4用于将生成的诊断报告呈现给医生，供医生根据机器识别的结果进行病情诊断分析。
上述技术方案中，它还包括模型训练模块5，所述模型训练模块5的第一数据通信端连接图像位置分类模块2的训练数据通信端，模型训练模块5的第二通信端连接图像序列描述模块3的训练数据通信端；
所述模型训练模块5用于利用随机梯度下降法训练所述图像位置分类模块2中使用的第一卷积神经网络CNN模型，训练后的分类模型能够对输入的胶囊内窥镜图像按拍摄部位的不同进行分类；
模型训练模块5还用于利用随机梯度下降法训练所述图像序列描述模块3中使用的第二卷积神经网络CNN模型，训练后的分类模型能够提取不同消化道部位图像序列的特征矢量序列，并得到特征矢量序列；
模型训练模块5还用于利用随机梯度下降法训练所述图像序列描述模块3中使用的递归神经网络RNN模型，训练后的递归神经网络RNN模型能根据特征矢量序列得到不同消化道部位的图像序列的描述性文字。
上述技术方案中，递归神经网络RNN模型使用长短时记忆LSTM网络，能够学习长期依赖关系，将可变长输入映射为可变长的输出。
一种利用上述***的胶囊内窥镜图像辅助阅片方法，其特征在于，它包括如下步骤：
步骤1：数据获取模块1获取检查者的胶囊内窥镜图像数据；
步骤2：数据获取模块1将获取的检查者的胶囊内窥镜图像数据输入到图像位置分类模块2内的第一卷积神经网络CNN模型中按照拍摄部位的不同进行图像分类，从而得到不同消化道部位的图像序列；
步骤3：图像位置分类模块2将不同消化道部位的图像序列发送给图像序列描述模块3的第二卷积神经网络CNN模型中，得到不同消化道部位图像序列的特征矢量序列(通过将传统神经网络中的最后一个全连接分类层去掉，直接获得表征图像特征的矢量)，不同消化道部位的图像序列中的每一张图像均对应一个特征矢量，所有的特征矢量组成特征矢量序列；
步骤4：将特征矢量序列输入到图像序列描述模块3的递归神经网络RNN模型中得到不同消化道部位的图像序列的描述性文字(主要是图像中的病灶信息)，图像序列描述模块3根据上述不同消化道部位的图像序列的描述性文字生成辅助诊断报告。
上述技术方案的步骤4中，图像序列描述模块3的递归神经网络RNN模型由两层LSTM(Long Short-Term Memory，LSTM，是一种时间递归神经网络)网络组成，将图像序列描述模块3的卷积神经网络CNN模型的输出作为第一层LSTM网络的输入，将第一层LSTM网络的隐藏层作为第二层LSTM网络的输入，LSTM网络作为特征矢量序列的解码器，生成相应的辅助诊断描述文字。
上述技术方案的步骤2中，模型训练模块5对图像位置分类模块2内的第一卷积神经网络CNN模型进行训练，训练过程包括预训练和模型优化两个阶段，在预训练阶段，使用随机梯度下降法在ImageNet数据集上训练图像位置分类模块2内的第一卷积神经网络CNN模型，得到预训练后的第一卷积神经网络CNN模型；在优化阶段，用人工标记的消化道分段样本对预训练过的第一卷积神经网络CNN模型的参数进行调优(使用自己的数据再一次对网络进行训练，英文为fine-tuning)。
上述技术方案的所述步骤3中，模型训练模块5对图像序列描述模块3的第二卷积神经网络CNN模型进行训练，训练过程包括预训练和模型优化两个阶段，在预训练阶段，使用随机梯度下降法在ImageNet数据集上训练图像序列描述模块3内的第二卷积神经网络CNN模型，得到预训练后的第二卷积神经网络CNN模型；在优化阶段，用人工标记的不同类型的消化道病灶(如出血、息肉、溃疡等)图像数据样本对预训练过的第二卷积神经网络CNN模型的参数进行调优。
上述技术方案的所述步骤3中，模型训练模块5将特征矢量序列和人工标记的图像特征与图像序列描述性文字的对应关系样本输入到递归神经网络RNN模型中进行训练，得到输入的图像特征序列所对应的描述性文字。
上述技术方案中，所述的递归神经网络RNN模型之所以选择LSTM网络，是因为对于某个消化道部位的诊断是需要综合该部位所有的图像信息。要得出诊断报告，就需要能够处理较长历史记忆功能的模型，以便综合考虑所有的图像信息，而LSTM模型能够记忆较长时间的信息，将可变长输入映射为可变长的输出，即LSTM网络能够很好的处理图像序列信息，得到图像序列综合性的描述。
上述技术方案中，第一卷积神经网络CNN模型和第二卷积神经网络CNN模型可以是AlexNet、VGG、GoogLeNet、ResNet等，本实施例优选为深度残差网络ResNet(Deep ResidualNetwork)，该网络模型相较于其他模型具有更深的网络层次，并且识别错误率更低，进而能够取得较好的分类识别效果。
图3是一种图像序列描述方法的网络结构图。将图像序列作为卷积神经网络CNN模型输入，由卷积神经网络CNN模型生成图像特征向量，接下来使用LSTM网络作为图像特征向量的解码器，生成相应的辅助诊断描述文字。LSTM模型由于可以学习较长特征序列之间的依赖关系，因此可利用LSTM模型的这种特性学习图像序列的时间序列关系，并通过学习到的语言模型生成消化道图像序列的诊断信息。
图4是一种LSTM网络结构图。LSTM分为编码过程(encoding)和解码过程(decoding)。
上述技术方案中，所述LSTM网络分为编码过程和解码过程：
LSTM网络的编码过程使用图像特征xt和隐藏状态ht-1作为输入，通过LSTM网络中LSTM单元的计算得到记忆单元状态ct，其中下标t表示第t步递归，完整的LSTM编码过程的计算公式如下：
it＝σ(Wxixt+Whiht-1+bi)
ft＝σ(Wxfxt+Whfht-1+bf)
ot＝σ(Wxoxt+Whoht-1+bo)
ct＝ft·ct-1+it·gt
其中，表示反正切函数，σ表示sigmoid函数，·表示点乘；i,f,o,g表示LSTM单元内部的4个门；xt,ht-1分别表示图像特征和隐藏状态，ct表示记忆单元，下标t表示第t步递归，t-1表示第t-1步递归；Wxi,Wxf,Wxo,Wxg表示图像特征x的权值；Whi,Whf,Who,Whg表示隐藏状态h的权值；bi,bf,bo,bg表示偏移值，上述图像特征x的权值、隐藏状态h的权值和偏移值的取值都是通过训练，由机器自己确定；
LSTM网络解码过程产生的辅助诊断信息需要通过输入图像序列的条件概率来评估，公式如下：
其中，(x1,…,xn)表示输入的不同消化道部位的图像序列，n表示图像帧数，(y1,…,ym)表示输出的文字序列，m表示文字个数；p(yt|hn+t)是由词汇表的softmax函数计算得到的概率，hn+t是通过hn+t-1,yt-1根据编码过程的公式计算得到，下标t表示第t次递归，n表示第n帧图像，p表示概率；
LSTM网络的训练过程即求解码阶段p(y1,…,ym|x1,…,xn)的极大似然估计，极大似然估计的公式如下：
其中表示求使θ最大值的运算符；θ表示LSTM模型中需要训练得到的参数，θ*表示参数的极大似然估计；log运算符表示求自然对数的运算符；p(yt|hn+t-1,yt-1)是由词汇表的softmax函数计算得到的概率，下标t表示第t次递归，n表示第n帧图像。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种胶囊内窥镜图像辅助阅片***，其特征在于，它包括数据获取模块(1)、图像位置分类模块(2)和图像序列描述模块(3)，其中，数据获取模块(1)的信号输出端连接图像位置分类模块(2)的信号输入端，图像位置分类模块(2)的信号输出端连接图像序列描述模块(3)的信号输入端；
所述数据获取模块(1)用于获取检查者的胶囊内窥镜图像数据；所述图像位置分类模块(2)用于将所述的胶囊内窥镜图像数据按照拍摄的消化道部位的不同分为不同的图像序列；所述图像序列描述模块(3)用于识别消化道不同部位的图像序列中的病灶，并生成对图像序列的描述性文字，从而形成诊断报告；
所述图像序列描述模块(3)用于利用第二卷积神经网络CNN模型对不同拍摄部位的图像序列进行图像特征提取得到不同消化道部位图像序列的特征矢量序列；所述图像序列描述模块(3)还用于利用递归神经网络RNN模型将特征矢量序列中的图像特征转化为描述性文字，从而形成辅助诊断报告；
图像序列描述模块(3)的递归神经网络RNN模型由两层LSTM网络组成，将图像序列描述模块(3)的卷积神经网络CNN模型的输出作为第一层LSTM网络的输入，将第一层LSTM网络的隐藏层作为第二层LSTM网络的输入，LSTM网络作为特征矢量序列的解码器，生成相应的辅助诊断描述文字。
2.根据权利要求1所述的胶囊内窥镜图像辅助阅片***，其特征在于：所述图像位置分类模块(2)用于使用第一卷积神经网络CNN模型将胶囊内窥镜图像按拍摄部位的不同进行分类。
3.根据权利要求1所述的胶囊内窥镜图像辅助阅片***，其特征在于：它还包括人机交互模块(4)，所述图像序列描述模块(3)的信号输出端连接人机交互模块(4)的信号输入端；
所述人机交互模块(4)用于将生成的诊断报告呈现给医生，供医生根据机器识别的结果进行病情诊断分析。
4.根据权利要求1所述的胶囊内窥镜图像辅助阅片***，其特征在于：它还包括模型训练模块(5)，所述模型训练模块(5)的第一数据通信端连接图像位置分类模块(2)的训练数据通信端，模型训练模块(5)的第二通信端连接图像序列描述模块(3)的训练数据通信端；
所述模型训练模块(5)用于利用随机梯度下降法训练所述图像位置分类模块(2)中使用的第一卷积神经网络CNN模型，训练后的分类模型能够对输入的胶囊内窥镜图像按拍摄部位的不同进行分类；
模型训练模块(5)还用于利用随机梯度下降法训练所述图像序列描述模块(3)中使用的第二卷积神经网络CNN模型，训练后的分类模型能够提取不同消化道部位图像序列的特征矢量序列，并得到特征矢量序列；
模型训练模块(5)还用于利用随机梯度下降法训练所述图像序列描述模块(3)中使用的递归神经网络RNN模型，训练后的递归神经网络RNN模型能根据特征矢量序列得到不同消化道部位的图像序列的描述性文字。
5.一种利用权利要求1所述***的胶囊内窥镜图像辅助阅片方法，其特征在于，它包括如下步骤：
步骤1：数据获取模块(1)获取检查者的胶囊内窥镜图像数据；
步骤2：数据获取模块(1)将获取的检查者的胶囊内窥镜图像数据输入到图像位置分类模块(2)内的第一卷积神经网络CNN模型中按照拍摄部位的不同进行图像分类，从而得到不同消化道部位的图像序列；
步骤3：图像位置分类模块(2)将不同消化道部位的图像序列发送给图像序列描述模块(3)的第二卷积神经网络CNN模型中，得到不同消化道部位图像序列的特征矢量序列，不同消化道部位的图像序列中的每一张图像均对应一个特征矢量，所有的特征矢量组成特征矢量序列；
步骤4：将特征矢量序列输入到图像序列描述模块(3)的递归神经网络RNN模型中得到不同消化道部位的图像序列的描述性文字，图像序列描述模块(3)根据上述不同消化道部位的图像序列的描述性文字生成辅助诊断报告。
6.根据权利要求5所述的胶囊内窥镜图像辅助阅片方法，其特征在于：所述步骤4中，图像序列描述模块(3)的递归神经网络RNN模型由两层LSTM网络组成，将图像序列描述模块(3)的卷积神经网络CNN模型的输出作为第一层LSTM网络的输入，将第一层LSTM网络的隐藏层作为第二层LSTM网络的输入，LSTM网络作为特征矢量序列的解码器，生成相应的辅助诊断描述文字。
7.根据权利要求5所述的胶囊内窥镜图像辅助阅片方法，其特征在于：所述步骤2中，模型训练模块(5)对图像位置分类模块(2)内的第一卷积神经网络CNN模型进行训练，训练过程包括预训练和模型优化两个阶段，在预训练阶段，使用随机梯度下降法在ImageNet数据集上训练图像位置分类模块(2)内的第一卷积神经网络CNN模型，得到预训练后的第一卷积神经网络CNN模型；在优化阶段，用人工标记的消化道分段样本对预训练过的第一卷积神经网络CNN模型的参数进行调优;
所述步骤3中，模型训练模块(5)对图像序列描述模块(3)的第二卷积神经网络CNN模型进行训练，训练过程包括预训练和模型优化两个阶段，在预训练阶段，使用随机梯度下降法在ImageNet数据集上训练图像序列描述模块(3)内的第二卷积神经网络CNN模型，得到预训练后的第二卷积神经网络CNN模型；在优化阶段，用人工标记的不同类型的消化道病灶图像数据样本对预训练过的第二卷积神经网络CNN模型的参数进行调优;
所述步骤3中，模型训练模块(5)将特征矢量序列和人工标记的图像特征与图像序列描述性文字的对应关系样本输入到递归神经网络RNN模型中进行训练，得到输入的图像特征序列所对应的描述性文字。
CN201710104172.7A 2017-02-24 2017-02-24 胶囊内窥镜图像辅助阅片***及方法 Active CN106934799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710104172.7A CN106934799B (zh) 2017-02-24 2017-02-24 胶囊内窥镜图像辅助阅片***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710104172.7A CN106934799B (zh) 2017-02-24 2017-02-24 胶囊内窥镜图像辅助阅片***及方法

Publications (2)

Publication Number Publication Date
CN106934799A CN106934799A (zh) 2017-07-07
CN106934799B true CN106934799B (zh) 2019-09-03

Family

ID=59423088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710104172.7A Active CN106934799B (zh) 2017-02-24 2017-02-24 胶囊内窥镜图像辅助阅片***及方法

Country Status (1)

Country Link
CN (1) CN106934799B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11504024B2 (en) 2018-03-30 2022-11-22 Vibrant Ltd. Gastrointestinal treatment system including a vibrating capsule, and method of use thereof
GB2554354B (en) 2016-09-21 2021-06-02 Vibrant Ltd Systems for adaptive treatment of disorders in the gastrointestinal tract
US10888277B1 (en) 2017-01-30 2021-01-12 Vibrant Ltd Method for treating diarrhea and reducing Bristol stool scores using a vibrating ingestible capsule
US10905378B1 (en) 2017-01-30 2021-02-02 Vibrant Ltd Method for treating gastroparesis using a vibrating ingestible capsule
CN107516075B (zh) 2017-08-03 2020-10-09 安徽华米智能科技有限公司 心电信号的检测方法、装置及电子设备
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测***及检测方法
CN107886503A (zh) * 2017-10-27 2018-04-06 重庆金山医疗器械有限公司 一种消化道解剖位置识别方法及装置
CN111655116A (zh) * 2017-10-30 2020-09-11 公益财团法人癌研究会 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序
CN107705852A (zh) * 2017-12-06 2018-02-16 北京华信佳音医疗科技发展有限责任公司 一种医用电子内窥镜的实时病变智能识别方法及装置
CN108461152A (zh) * 2018-01-12 2018-08-28 平安科技（深圳）有限公司 医疗模型训练方法、医疗识别方法、装置、设备及介质
CN108229463A (zh) * 2018-02-07 2018-06-29 众安信息技术服务有限公司 基于图像的文字识别方法
CN108354578B (zh) * 2018-03-14 2020-10-30 重庆金山医疗器械有限公司 一种胶囊内镜定位***
US10537720B2 (en) 2018-04-09 2020-01-21 Vibrant Ltd. Method of enhancing absorption of ingested medicaments for treatment of parkinsonism
US11638678B1 (en) 2018-04-09 2023-05-02 Vibrant Ltd. Vibrating capsule system and treatment method
US11510590B1 (en) 2018-05-07 2022-11-29 Vibrant Ltd. Methods and systems for treating gastrointestinal disorders
CN108877915A (zh) * 2018-06-07 2018-11-23 合肥工业大学 微创视像处理的智能边缘计算***
CN109102491B (zh) * 2018-06-28 2021-12-28 武汉楚精灵医疗科技有限公司 一种胃镜图像自动采集***及方法
CN109272483B (zh) * 2018-08-01 2021-03-30 安翰科技(武汉)股份有限公司 胶囊内镜阅片及质量控制的***及控制方法
WO2020078252A1 (en) * 2018-10-16 2020-04-23 The Chinese University Of Hong Kong Method, apparatus and system for automatic diagnosis
CN109447973B (zh) 2018-10-31 2021-11-26 腾讯医疗健康(深圳)有限公司 一种结肠息肉图像的处理方法和装置及***
CN109146884B (zh) * 2018-11-16 2020-07-03 青岛美迪康数字工程有限公司 内窥镜检查监控方法及装置
CN109447985B (zh) * 2018-11-16 2020-09-11 青岛美迪康数字工程有限公司 结肠镜图像分析方法、装置及可读存储介质
US10814113B2 (en) 2019-01-03 2020-10-27 Vibrant Ltd. Device and method for delivering an ingestible medicament into the gastrointestinal tract of a user
GB201900780D0 (en) 2019-01-21 2019-03-06 Vibrant Ltd Device and method for delivering a flowable ingestible medicament into the gastrointestinal tract of a user
GB201901470D0 (en) 2019-02-04 2019-03-27 Vibrant Ltd Vibrating capsule for gastrointestinal treatment, and method of use thereof
TW202032574A (zh) * 2019-02-26 2020-09-01 沛智生醫科技股份有限公司 細胞分類方法、系統與醫療分析平台
CN110110750B (zh) * 2019-03-29 2021-03-05 广州思德医疗科技有限公司 一种原始图片的分类方法及装置
CN110232413A (zh) * 2019-05-31 2019-09-13 华北电力大学（保定） 基于gru网络的绝缘子图像语义描述方法、***、装置
CN110367913B (zh) * 2019-07-29 2021-09-28 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
KR102360615B1 (ko) * 2019-11-05 2022-02-09 주식회사 인피니트헬스케어 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
CN112784652A (zh) 2019-11-11 2021-05-11 中强光电股份有限公司 图像识别方法及装置
CN111026799B (zh) * 2019-12-06 2023-07-18 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
CN111275041B (zh) * 2020-01-20 2022-12-13 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类***和分类方法
CN111798408B (zh) * 2020-05-18 2023-07-21 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种内窥镜干扰图像检测与分级***及方法
CN112200773A (zh) * 2020-09-17 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法
CN112200250A (zh) * 2020-10-14 2021-01-08 重庆金山医疗器械有限公司 一种胶囊内窥镜图像的消化道分段识别方法、装置和设备
CN112837275B (zh) * 2021-01-14 2023-10-24 长春大学 胶囊内窥镜图像器官分类方法、装置、设备及存储介质
CN113052956B (zh) * 2021-03-19 2023-03-10 安翰科技(武汉)股份有限公司 基于胶囊内窥镜构建阅片模型的方法、设备及介质
CN115115570A (zh) 2021-03-22 2022-09-27 深圳科亚医疗科技有限公司 医学图像分析方法和装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
CN105979847A (zh) * 2014-02-07 2016-09-28 国立大学法人广岛大学 内窥镜图像诊断辅助***
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别***及识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
CN105979847A (zh) * 2014-02-07 2016-09-28 国立大学法人广岛大学 内窥镜图像诊断辅助***
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别***及识别方法

Also Published As

Publication number Publication date
CN106934799A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106934799B (zh) 胶囊内窥镜图像辅助阅片***及方法
CN107730489A (zh) 无线胶囊内窥镜小肠病变计算机辅助检测***及检测方法
Li et al. Colonoscopy polyp detection and classification: Dataset creation and comparative evaluations
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
CN110367913B (zh) 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN107886503A (zh) 一种消化道解剖位置识别方法及装置
CN109102491A (zh) 一种胃镜图像自动采集***及方法
CN106682616A (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN113496489A (zh) 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN109102899A (zh) 基于机器学习与大数据的中医智能辅助***及方法
CN111341437B (zh) 基于舌图像的消化道疾病判断辅助***
CN109166619A (zh) 基于神经网络算法的中医智能诊断辅助***及方法
CN107330393A (zh) 一种基于视频分析的新生儿疼痛表情识别方法
CN111340094A (zh) 基于深度学习的胶囊内窥镜图像辅助分类***和分类方法
CN108877923A (zh) 一种基于深度学习的舌苔生成中药处方的方法
CN110321827A (zh) 一种基于人脸疼痛表***的疼痛水平评估方法
Yang et al. DRR-Net: A dense-connected residual recurrent convolutional network for surgical instrument segmentation from endoscopic images
Wang et al. Deep learning–based endoscopic image recognition for detection of early gastric cancer: a Chinese perspective
CN115170385A (zh) 一种激光刀手术黑白模式视频上色方法和***
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
CN111784669B (zh) 一种胶囊内镜图像多病灶检测方法
CN112419246B (zh) 量化食管粘膜IPCLs血管形态分布的深度检测网络
CN108937871A (zh) 一种消化道微光学相干断层成像图像分析***及方法
Wang et al. Triplanar convolutional neural network for automatic liver and tumor image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 430075 666 new high tech Avenue, East Lake New Technology Development Zone, Wuhan, Hubei

Applicant after: Anhan Science and Technology (Wuhan) Co., Ltd.

Address before: 430075 666 new high tech Avenue, East Lake New Technology Development Zone, Wuhan, Hubei

Applicant before: Ankon Photoelectric Technology (Wuhan) Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200731

Address after: Room b218, 2 / F, building 2, Zhongguancun innovation center, Xixia District, Yinchuan City, Ningxia Hui Autonomous Region, 750000

Patentee after: Yinchuan Anhan Internet hospital Co., Ltd

Address before: 430075 666 hi tech Avenue, East Lake New Technology Development Zone, Wuhan, Hubei

Patentee before: Anhan Technology (Wuhan) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210114

Address after: 430000 No. 666 High-tech Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee after: Anhan Technology (Wuhan) Co.,Ltd.

Address before: B218, 2nd floor, building 2, Zhongguancun innovation center, Xixia District, Yinchuan City, Ningxia Hui Autonomous Region

Patentee before: Yinchuan Anhan Internet hospital Co., Ltd