CN108784636A - 一种基于深度强化学习的人工智能胶囊内镜检查方法及*** - Google Patents
一种基于深度强化学习的人工智能胶囊内镜检查方法及*** Download PDFInfo
- Publication number
- CN108784636A CN108784636A CN201810555536.8A CN201810555536A CN108784636A CN 108784636 A CN108784636 A CN 108784636A CN 201810555536 A CN201810555536 A CN 201810555536A CN 108784636 A CN108784636 A CN 108784636A
- Authority
- CN
- China
- Prior art keywords
- deeply
- learning model
- capsule endoscope
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
- A61B1/2736—Gastroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Gastroenterology & Hepatology (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度强化学习的人工智能胶囊内镜检查方法及***,该方法包括:胶囊内镜采集胃腔环境的图像,提取图像的特征值;将图像特征值输入预先训练的深度强化学习模型中,得到可执行的最大价值动作;利用深度强化学习模型输出的最大价值动作,根据胶囊内镜的状态生成相应的控制指令,控制胶囊内镜在复杂的胃腔环境中进行自主运动;自主运动动作完成后,根据实际完成情况获取回报值;并判定胶囊内镜是否到达终点位置。本发明旨在通过训练,使胶囊内镜能在复杂的高度动态的胃腔环境中,作出正确的决策;能控制胶囊内镜在复杂的胃腔环境中进行自主运动,智能化地、高效地、不遗漏地实现对全胃的检查。
Description
技术领域
本发明涉及医疗器械领域,尤其涉及一种基于深度强化学习的人工智能胶囊内镜检查方法及***。
背景技术
我国是胃病大国,尤其是胃癌,发病率和死亡率一直居高不下。现有技术中,内镜检查在消化***疾病诊断中具有重要意义。
传统的电子胃镜作为一项侵入性检查,在实施过程中,会刺激患者咽喉,给患者带来生理不适,患者的依从性降低,耽误病情的早期诊断;此外,对医生操作水平和经验要求较高,培训一名优秀的消化内镜医生周期长耗费大;新世纪初,胶囊内镜登上舞台。患者只需吞入一颗小小的胶囊,就能在消化道的蠕动下历经整个消化过程,便于医生了解患者消化道内具体情况。胶囊内镜需要拍摄到胃底,贲门,胃体中上部,胃体下部,胃角,胃窦等部位的各个象限,才能避免漏诊。但是,胃是一个空腔器官,体积较大,胶囊内镜通过速度快,很难完整拍摄到上述部位的图像,存在许多观察盲区;磁控胶囊内镜是一种由医师推动操控杆遥控改变外部磁场来操纵胃内胶囊内镜的诊断工具,实现小步长(2mm)平移和小角度(3°)转动,提高了胃腔检查的完整度,已应用于少数高端体检中。但磁场对胶囊内镜的磁力取决磁铁距离胶囊的角度和距离,这要求操控者有丰富的经验能适应这些变化。
我们拟在现有胶囊内镜检查技术中,加入深度强化学习算法和动作控制模块,使内镜检查不再需要医生操作,能自己做出正确决策,不遗漏地完成全胃检查,减少医生工作量,节约时间、金钱和脑力成本。此外,本发明提供的检查技术安全舒适,检查过程无痛无创,易于被患者接受,有望尽早发现消化道疾病。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于深度强化学习的人工智能胶囊内镜检查方法及***。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种基于深度强化学习的人工智能胶囊内镜检查方法,该方法包括以下步骤:
步骤S10、胶囊内镜通过摄像头采集胃腔环境的图像,对图像进行处理,提取图像的特征值,将其作为运动前状态;
步骤S20、将图像特征值输入预先训练的深度强化学习模型中,得到运动前状态下,胶囊内镜可执行的最大价值动作;
步骤S30、利用深度强化学习模型输出的最大价值动作,根据胶囊内镜的状态生成相应的控制指令,控制胶囊内镜在复杂的胃腔环境中进行自主运动;
步骤S40、自主运动动作完成后,根据实际完成情况获取回报值;并判定胶囊内镜是否到达终点位置,若是,则本次检查结束;若否,则返回步骤S10重复执行,直至到达终点位置。
进一步地,本发明的步骤S10中提取图像的特征值的方法具体为:利用卷积神经网络对图像进行卷积处理,得到卷积特征。
进一步地,本发明的步骤S20中深度强化学习模型的训练方法具体为:
获取训练数据,包括运动前状态s,执行动作a,运动后状态s’,执行对应动作后的回报值r;
胶囊内镜通过摄像头采集图像,处理图像,提取特征值,将此作为运动前状态s,任意选择一个动作a执行;若胶囊内镜执行动作a到达或接近期望位置,给予相应的奖励值;反之,若胶囊内镜执行动作a后偏离期望位置,则给予相应的惩罚值;
将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播,得到Q值;将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播,得到maxQ’值;将运动前状态s的Q值更新为r+γmax Q’,其中γ为折扣因子;
其中,反向传播过程采用梯度下降法进行迭代更新;Q值计算方法使用贝尔曼方程;执行动作的选择采用ε-greedy方式,随机选取动作。
进一步地,本发明的步骤S20中深度强化学习模型的训练方法还包括:
根据选择的算法,设计深度神经网络,构建合适的深度强化学习模型,算法包括:DQN算法、A3C算法和UNREAL算法。
进一步地,本发明的步骤S40中获取的回报值用于对深度强化学习模型进行优化,其方法具体为:
自主运动动作完成后,根据期望和实际完成情况获取回报值,并对深度强化学习模型参数进行更新,不断调整优化深度强化学习模型;
在进行胶囊内镜实际检查时,训练好的深度强化学习模型会给出最大价值动作供胶囊内镜执行,将实际操作中的运动前状态s,执行动作a,运动后状态s’,执行对应动作后的回报值r作为经验,供已经训练好的深度强化学习模型进行学习更新,即重复步骤S20的操作,不断完善深度强化学习模型。
进一步地,本发明的步骤S20中的深度强化学习模型的表达形式为:
深度强化学习模型即构建损失函数,训练过程就是对损失函数的优化,损失函数的表达形式为:
L(w)=E[(r+γmaxQ’-Q)2]
其中,r执行对应动作a后的回报值;γ为折扣因子;将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播,得到Q值;将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播,得到maxQ’值;将运动前状态s的Q值更新为r+γmax Q’。
本发明提供一种基于深度强化学习的人工智能胶囊内镜检查***,该***包括以下模块:
状态获取模块:用于根据胶囊内镜的摄像头采集胃腔环境的图像,对图像进行处理,提取图像的特征值,进而获得当前状态;
深度强化学习模块:用于获取训练数据,将其输入深度强化学习模块,训练深度强化学习模型;并将特征值输入深度强化学习模型进行处理,得到胶囊内镜可执行的最大价值对应的动作;
控制指令生成与执行模块:利用深度强化学习模块输出的最大价值动作,根据胶囊内镜的状态生成相应的控制指令,调整胶囊内镜的体外梯度线圈和匀场线圈的电压,改变磁场强度,控制胶囊内镜在复杂的胃腔环境中进行自主运动;
通信模块:用于实现状态获取模块、深度强化学习模块、控制指令生成与执行模块之间的连接,并实现它们之间的数据通信。
进一步地,本发明的状态获取模块包括:
图像采集单元:通过胶囊内镜搭载的摄像头,拍摄检查环境的图像,用于获取胶囊内镜当前状态;
特征值提取单元:根据图像采集单元采集的环境图像,利用卷积神经网络处理,提取特征值,并将特征值输入到深度强化学习模块。
进一步地,本发明的深度强化学习模块包括:
训练数据存储单元:用于获取并存储训练数据,包括运动前状态s,执行动作a,运动后状态s’,执行对应动作后的回报值r;
奖惩单元:用于根据胶囊内镜执行动作a后到达位置的情况,给予对应的奖惩值。
本发明产生的有益效果是:本发明的基于深度强化学习的人工智能胶囊内镜检查方法及***,1、胃部的内镜检查实现全自动化,不再需要医生进行操作:本发明训练后的深度强化学习模型能够自动帮助胶囊内镜进行决策,按照一定的顺序不遗漏地进行检查,不再需要医生操作,节约时间成本。2、检查过程无创无痛,更易被患者接受,可早期发现消化道疾病,早期进行治疗,患者预后更好。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明的基于深度强化学习的人工智能胶囊内镜检查方法的流程图。
图2是本发明的基于深度强化学习的人工智能胶囊内镜检查***的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例一:
本发明实施例的基于深度强化学习的人工智能胶囊内镜检查方法,该方法包括:
步骤S10:胶囊内镜通过摄像头采集图像,处理图像,提取图像特征值,将此作为运动前状态;
通过胶囊内镜拍摄图像作为当前agent的状态,输入深度强化学习模块,以期得到决策动作。本实施例中,为减少计算机处理时间,可对采集图像做预处理,包括进行灰度化与降采样等操作,然后将预处理后的图像输入卷积神经网络进行特征值的提取。
步骤S20:将步骤S10中提取的图像特征值,输入预先训练的深度强化学习模型中,得到此状态下胶囊内镜可执行的最大价值动作;
深度强化学习是将深度学习与增强学习结合起来,输入感知信息,然后通过深度神经网络,直接输出最大价值动作。
深度强化学习模型训练方法包括:获取训练数据,包括运动前状态s,执行动作a,运动后状态s’,执行对应动作后的回报值r。
胶囊内镜通过摄像头采集图像,处理图像,提取特征值,将此作为运动前状态s,任意选择一个动作a执行。若胶囊内镜执行动作a到达或接近期望位置,给予相应的奖励值;反之,若胶囊内镜执行动作a后偏离期望位置,则给予相应的惩罚值。
将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播,得到Q值;将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播,得到maxQ’值;将运动前状态s的Q值更新为r+γmax Q’,其中γ为折扣因子;需要说明的是,反向传播过程采用梯度下降法进行迭代更新;Q值计算方法使用贝尔曼方程;执行动作的选择采用ε-greedy方式,随机选取动作;
本实施例中,利用上述操作完成深度强化学习模型的训练。需要清楚的是,模型的训练并不局限于上述操作,可根据选择的深度强化学习算法,设计深度神经网络,构建合适的深度强化学习模型。
深度强化学习的前沿算法有三种。DQN算法是第一个被提出的深度强化学习算法,仅使用价值网络,训练效率较低,需要大量的时间训练,并且只能面向低维的离散控制问题,通用性有限。A3C算法相比DQN算法而言,是一个更好更通用的深度强化学习算法。相比DQN算法,A3C算法不需要使用经验池来存储历史样本,节约了存储空间,并且采用异步训练,大大加倍了数据的采样速度,也因此提升了训练速度。与此同时,采用多个不同训练环境采集样本,样本的分布更加均匀,更有利于神经网络的训练。UNREAL算法是最新的深度强化学习算法,在A3C算法的基础上对性能和速度进行进一步提升,UNREAL算法通过设置多个辅助任务,同时训练同一个A3C网络,从而加快学习的速度,并进一步提升性能。
完整的胶囊内镜检查,需要拍摄到胃底,贲门,胃体中上部,胃体下部,胃角,胃窦等部位的各个象限的图像,才能避免漏诊。本发明具体实施中,我们希望胶囊内镜能按照一定的顺序自动完成上述各个部位的检查,若当前状态为胃底,根据深度强化学习模块的输出,可以将胶囊内镜转移到贲门部拍摄图像。
深度强化学习模型的表达形式为:
深度强化学习模型即构建损失函数,训练过程就是对损失函数的优化,损失函数的表达形式为:
L(w)=E[(r+γmaxQ’-Q)2]
其中,r执行对应动作a后的回报值;γ为折扣因子;将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播,得到Q值;将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播,得到maxQ’值;将运动前状态s的Q值更新为r+γmax Q’。
步骤S30:利用深度强化学习模型输出的最大价值动作,根据胶囊内镜的状态生成相应的控制指令,控制胶囊内镜在复杂的胃腔环境中进行自主运动;
本实施例中,被检查患者处于含有电磁线圈产生的磁场中,线圈包括梯度线圈和匀场线圈,梯度线圈产生均匀场强梯度磁场,匀场线圈产生均匀磁场强度磁场,通过调节供电电压来调节其电流,进而有效地调整磁场,对内置有永磁体的胶囊内镜产生不同电磁作用力,完成状态的转移。
步骤S40:动作执行完成后,根据期望和实际完成情况获取回报值;同时,判定胶囊内镜是否到达终点位置,若是,则本次检查结束;若否,则重复执行上述步骤,直至到达所述终点位置。
胶囊内镜在胃内需要拍到胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部十个部位的清晰图像,我们希望胶囊内镜能够按照上述一定的顺序进行运动。举例而言,根据图像特征值提取到胶囊内镜处于胃底这部位,将特征值输入深度强化学习模型得到当前可执行的最大价值动作,执行最大价值动作后,能够拍摄到贲门(远景),与期望相符,则给予正回报值,为胶囊内镜加分;若胶囊内镜执行动作后,拍摄到的部位是胃体后壁,虽然也观察到了胃内情况,但是没有按照我们期望的顺序进行,则给予负回报值。
更优选地,步骤S40中,根据运动前状态和最大价值对应的执行控制指令,获取胶囊内镜运动后状态,获取回报值,并对深度强化学习模型参数进行更新,不断调整优化深度强化学习模型。同时,判断运动后状态是否为胃部检查的终点位置,是则本次检查结束,否则将运动后状态设置为下一***作的运动前状态,并循环上述操作。
参数更新时,在进行胶囊内镜实际检查时,训练好的深度强化学习模型会给出最大价值动作供胶囊内镜执行,可以将实际操作中的运动前状态s,执行动作a,运动后状态s,,执行对应动作后的回报值r作为经验,供已经训练好的深度强化学习模型进行学习更新,即重复步骤S20的操作,不断完善深度强化学习模型。
通常一份完整的胃镜检查报告需要包含口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部及降部10个部位的至少31张图片,本实施例中,胶囊内镜按照上述顺序进行移动,拍摄到十二指肠降部图像即可结束本次检查。
本发明实施例建立深度强化学习模型,通过采集图像提取特征值获得胶囊内镜当前状态,输入模型,以获得当前状态最有价值动作并执行,将执行动作后的回报值反馈给深度强化学习模型,不断优化该模型。本发明不需要医生进行操作,实现全自动化,同时检查过程无创无痛,易于被患者接受,尽早发现疾病,尽早治疗疾病,使患者利益最大化。
实施例二
另一方面,本发明实施例的基于深度强化学习的人工智能胶囊内镜检查***,包括:
状态获取模块:用于根据胶囊内镜摄像头拍摄图像获得胶囊内镜当前状态;
深度强化学习模块:用于将所述特征值输入深度强化学习模型进行处理,得到最大价值对应的动作;用于将训练数据输入该模块,训练深度强化学习模型,以使经过训练后的深度强化学习模型能够进行决策分析;
控制指令生成与执行模块:利用深度强化学习模块输出的最大价值动作,根据胶囊内镜的状态生成相应的控制指令,调整体外梯度线圈和匀场线圈的电压,改变磁场强度,控制胶囊内镜在复杂的胃腔环境中进行自主运动。
通信模块:用于状态获取模块、深度强化学习模块、控制指令生成与执行模块的连接。
更优选地,状态获取模块包括:
图像采集单元:通过胶囊内镜搭载的摄像头,拍摄检查环境的图像,用于获取胶囊内镜当前状态;
特征值提取单元:根据图像采集模块采集的环境图像,利用卷积神经网络处理,用于提取特征值,便于输入深度强化学习模块进行分析。
更优选地,深度强化学习模块包括:
训练数据存储单元:包括运动前状态s,执行动作a,运动后状态s’,执行对应动作后的回报值r;
奖惩单元:用于根据胶囊内镜执行动作a后到达位置的情况,给予对应的奖励值;反之,根据胶囊内镜执行动作a后偏离位置的情况,给予相应的惩罚值。
其中,状态获取模块具体用于,采集胃内图像,使用卷积神经网络提取特征值,获得胶囊内镜的当前状态。
其中,深度强化学习模型的训练可根据选择的深度强化学习算法,设计合适的深度神经网络,构建适合的深度强化学习模型。
本发明实施例中通信模块将状态获取模块、深度强化学习模块、控制指令生成和执行模块连接,传递信息。通过采集图像提取特征值获得胶囊内镜当前状态,输入模型,以获得当前状态最有价值动作并执行,将执行动作后的回报值反馈给深度强化学习模型,不断优化该模型。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (9)
1.一种基于深度强化学习的人工智能胶囊内镜检查方法,其特征在于,该方法包括以下步骤:
步骤S10、胶囊内镜通过摄像头采集胃腔环境的图像,对图像进行处理,提取图像的特征值,将其作为运动前状态;
步骤S20、将图像特征值输入预先训练的深度强化学习模型中,得到运动前状态下,胶囊内镜可执行的最大价值动作;
步骤S30、利用深度强化学习模型输出的最大价值动作,根据胶囊内镜的状态生成相应的控制指令,控制胶囊内镜在复杂的胃腔环境中进行自主运动;
步骤S40、自主运动动作完成后,根据实际完成情况获取回报值;并判定胶囊内镜是否到达终点位置,若是,则本次检查结束;若否,则返回步骤S10重复执行,直至到达终点位置。
2.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查方法,其特征在于,步骤S10中提取图像的特征值的方法具体为:利用卷积神经网络对图像进行卷积处理,得到卷积特征。
3.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查方法,其特征在于,步骤S20中深度强化学习模型的训练方法具体为:
获取训练数据,包括运动前状态s,执行动作a,运动后状态s,,执行对应动作后的回报值r;
胶囊内镜通过摄像头采集图像,处理图像,提取特征值,将此作为运动前状态s,任意选择一个动作a执行;若胶囊内镜执行动作a到达或接近期望位置,给予相应的奖励值;反之,若胶囊内镜执行动作a后偏离期望位置,则给予相应的惩罚值;
将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播,得到Q值;将训练数据中的运动后状态s,输入预训练的深度强化学习模型并反向传播,得到maxQ,值;将运动前状态s的Q值更新为r+γmax Q,,其中γ为折扣因子;
其中,反向传播过程采用梯度下降法进行迭代更新;Q值计算方法使用贝尔曼方程;执行动作的选择采用ε-greedy方式,随机选取动作。
4.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查方法,其特征在于,步骤S20中深度强化学习模型的训练方法还包括:
根据选择的算法,设计深度神经网络,构建合适的深度强化学习模型,算法包括:DQN算法、A3C算法和UNREAL算法。
5.根据权利要求3所述的基于深度强化学习的人工智能胶囊内镜检查方法,其特征在于,步骤S40中获取的回报值用于对深度强化学习模型进行优化,其方法具体为:
自主运动动作完成后,根据期望和实际完成情况获取回报值,并对深度强化学习模型参数进行更新,不断调整优化深度强化学习模型;
在进行胶囊内镜实际检查时,训练好的深度强化学习模型会给出最大价值动作供胶囊内镜执行,将实际操作中的运动前状态s,执行动作a,运动后状态s,,执行对应动作后的回报值r作为经验,供已经训练好的深度强化学习模型进行学习更新,即重复步骤S20的操作,不断完善深度强化学习模型。
6.根据权利要求3所述的基于深度强化学习的人工智能胶囊内镜检查方法,其特征在于,根据步骤S20中的深度强化学习模型的表达形式为:
深度强化学习模型即构建损失函数,训练过程就是对损失函数的优化,损失函数的表达形式为:
L(w)=E[(r+γmaxQ,-Q)2]
其中,r执行对应动作a后的回报值;γ为折扣因子;将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播,得到Q值;将训练数据中的运动后状态s,输入预训练的深度强化学习模型并反向传播,得到maxQ,值;将运动前状态s的Q值更新为r+γmaxQ,。
7.一种基于深度强化学习的人工智能胶囊内镜检查***,其特征在于,该***包括以下模块:
状态获取模块:用于根据胶囊内镜的摄像头采集胃腔环境的图像,对图像进行处理,提取图像的特征值,进而获得当前状态;
深度强化学习模块:用于获取训练数据,将其输入深度强化学习模块,训练深度强化学习模型;并将特征值输入深度强化学习模型进行处理,得到胶囊内镜可执行的最大价值对应的动作;
控制指令生成与执行模块:利用深度强化学习模块输出的最大价值动作,根据胶囊内镜的状态生成相应的控制指令,调整胶囊内镜的体外梯度线圈和匀场线圈的电压,改变磁场强度,控制胶囊内镜在复杂的胃腔环境中进行自主运动;
通信模块:用于实现状态获取模块、深度强化学习模块、控制指令生成与执行模块之间的连接,并实现它们之间的数据通信。
8.根据权利要求7所述的基于深度强化学习的人工智能胶囊内镜检查***,其特征在于,状态获取模块包括:
图像采集单元:通过胶囊内镜搭载的摄像头,拍摄检查环境的图像,用于获取胶囊内镜当前状态;
特征值提取单元:根据图像采集单元采集的环境图像,利用卷积神经网络处理,提取特征值,并将特征值输入到深度强化学习模块。
9.根据权利要求7所述的基于深度强化学习的人工智能胶囊内镜检查***,其特征在于,深度强化学习模块包括:
训练数据存储单元:用于获取并存储训练数据,包括运动前状态s,执行动作a,运动后状态s,,执行对应动作后的回报值r;
奖惩单元:用于根据胶囊内镜执行动作a后到达位置的情况,给予对应的奖惩值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810555536.8A CN108784636B (zh) | 2018-06-01 | 2018-06-01 | 一种基于深度强化学习的人工智能胶囊内镜检查方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810555536.8A CN108784636B (zh) | 2018-06-01 | 2018-06-01 | 一种基于深度强化学习的人工智能胶囊内镜检查方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108784636A true CN108784636A (zh) | 2018-11-13 |
CN108784636B CN108784636B (zh) | 2021-03-23 |
Family
ID=64089929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810555536.8A Active CN108784636B (zh) | 2018-06-01 | 2018-06-01 | 一种基于深度强化学习的人工智能胶囊内镜检查方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108784636B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110570425A (zh) * | 2019-10-18 | 2019-12-13 | 北京理工大学 | 一种基于深度强化学习算法的肺结节分析方法及装置 |
CN111340094A (zh) * | 2020-02-21 | 2020-06-26 | 湘潭大学 | 基于深度学习的胶囊内窥镜图像辅助分类***和分类方法 |
CN112529892A (zh) * | 2020-12-21 | 2021-03-19 | 苏州中科华影健康科技有限公司 | 消化道内镜病变图像检测方法、***和计算机存储介质 |
WO2021078377A1 (en) * | 2019-10-23 | 2021-04-29 | Huawei Technologies Co., Ltd. | Feature detector and descriptor |
CN115861718A (zh) * | 2023-02-22 | 2023-03-28 | 赛维森(广州)医疗科技服务有限公司 | 胃活检图像分类方法、装置、设备、介质和程序产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106873585A (zh) * | 2017-01-18 | 2017-06-20 | 无锡辰星机器人科技有限公司 | 一种导航寻路方法、机器人及*** |
CN107967946A (zh) * | 2017-12-21 | 2018-04-27 | 武汉大学 | 基于深度学习的胃镜操作实时辅助***及方法 |
-
2018
- 2018-06-01 CN CN201810555536.8A patent/CN108784636B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106873585A (zh) * | 2017-01-18 | 2017-06-20 | 无锡辰星机器人科技有限公司 | 一种导航寻路方法、机器人及*** |
CN107967946A (zh) * | 2017-12-21 | 2018-04-27 | 武汉大学 | 基于深度学习的胃镜操作实时辅助***及方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110570425A (zh) * | 2019-10-18 | 2019-12-13 | 北京理工大学 | 一种基于深度强化学习算法的肺结节分析方法及装置 |
CN110570425B (zh) * | 2019-10-18 | 2023-09-08 | 北京理工大学 | 一种基于深度强化学习算法的肺结节分析方法及装置 |
WO2021078377A1 (en) * | 2019-10-23 | 2021-04-29 | Huawei Technologies Co., Ltd. | Feature detector and descriptor |
CN111340094A (zh) * | 2020-02-21 | 2020-06-26 | 湘潭大学 | 基于深度学习的胶囊内窥镜图像辅助分类***和分类方法 |
CN112529892A (zh) * | 2020-12-21 | 2021-03-19 | 苏州中科华影健康科技有限公司 | 消化道内镜病变图像检测方法、***和计算机存储介质 |
CN115861718A (zh) * | 2023-02-22 | 2023-03-28 | 赛维森(广州)医疗科技服务有限公司 | 胃活检图像分类方法、装置、设备、介质和程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN108784636B (zh) | 2021-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108784636A (zh) | 一种基于深度强化学习的人工智能胶囊内镜检查方法及*** | |
CN106934799B (zh) | 胶囊内窥镜图像辅助阅片***及方法 | |
EP3876190A1 (en) | Endoscopic image processing method and system and computer device | |
US20180296281A1 (en) | Automated steering systems and methods for a robotic endoscope | |
Aruni et al. | New surgical robots on the horizon and the potential role of artificial intelligence | |
EP3876192A1 (en) | Image recognition method and device, terminal apparatus, and medical system | |
CN109272483B (zh) | 胶囊内镜阅片及质量控制的***及控制方法 | |
WO2020071678A3 (ko) | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 | |
WO2018225132A1 (ja) | 医療システムおよび医療システムの作動方法 | |
CN102397052B (zh) | 基于图像识别技术的可调节拍摄速率的无线胶囊内窥镜***及方法 | |
JPWO2020174747A1 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム | |
JP5639312B2 (ja) | 検査情報管理装置及び検査情報管理システム | |
CN111932484A (zh) | 一种基于图像识别的肠镜图像模糊度检测方法 | |
CN110742690A (zh) | 一种用于配置内窥镜的方法及终端设备 | |
CN114155940A (zh) | 机器人自主超声扫查技能策略生成方法、装置及存储介质 | |
CN110009007A (zh) | 一种面向多类型疾病的人工智能手术辅助*** | |
JP2010069208A (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
CN115553925B (zh) | 内窥镜操控模型训练方法及装置、设备、存储介质 | |
KR20220102172A (ko) | 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램 | |
CN111227768A (zh) | 一种内窥镜的导航控制方法及装置 | |
CN110772210A (zh) | 一种诊断交互***及方法 | |
AU2021343968B2 (en) | System and method of printing 3D biostructures | |
DE112021004722T5 (de) | Steuersystem für einen medizinischen arm, medizinische armvorrichtung, steuerungsverfahren für einen medizinischen arm und programm | |
CN107106141A (zh) | 医疗诊断装置、超声波观察***、医疗诊断装置的工作方法以及医疗诊断装置的工作程序 | |
Ruan et al. | The survey of CNN-based cancer diagnosis system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190726 Address after: 430223 Room 001, Building D2, 10 Building, Phase III, Huacheng Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Applicant after: Wuhan Chujingling Medical Technology Co., Ltd. Address before: 430060 Jiefang Road 238, Wuchang District, Wuhan City, Hubei Province Applicant before: People's Hospital of Wuhan University (Hubei Provincial People's Hospital) |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |