CN108354578B - 一种胶囊内镜定位*** - Google Patents

一种胶囊内镜定位*** Download PDF

Info

Publication number
CN108354578B
CN108354578B CN201810210665.3A CN201810210665A CN108354578B CN 108354578 B CN108354578 B CN 108354578B CN 201810210665 A CN201810210665 A CN 201810210665A CN 108354578 B CN108354578 B CN 108354578B
Authority
CN
China
Prior art keywords
capsule endoscope
picture
network model
digestive tract
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810210665.3A
Other languages
English (en)
Other versions
CN108354578A (zh
Inventor
袁建
白家莲
梁东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinshan Medical Technology Research Institute Co Ltd
Original Assignee
Chongqing Jinshan Medical Appliance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinshan Medical Appliance Co Ltd filed Critical Chongqing Jinshan Medical Appliance Co Ltd
Priority to CN201810210665.3A priority Critical patent/CN108354578B/zh
Publication of CN108354578A publication Critical patent/CN108354578A/zh
Application granted granted Critical
Publication of CN108354578B publication Critical patent/CN108354578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00158—Holding or positioning arrangements using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种胶囊内镜定位***，包括：获取模块，用于：获取胶囊内镜采集的消化道图片、该消化道图片的图片亮度及采集该消化道图片时所述胶囊内镜中实现图片采集的镜头的镜头参数；定位模块，用于：将所述消化道图片输入至预先训练的深度网络模型中，得到所述深度网络模型输出的与所述消化道图片对应的消化道位置；并基于预先确定的对应关系确定出与所述图片亮度及所述镜头参数对应的采集所述消化道图片时所述镜头距离消化道黏膜之间的距离；输出模块，用于：将所述胶囊内镜采集所述消化道图片时的位姿信息输出，该位姿信息包括所述消化道图片对应消化道位置及所述镜头距离消化道黏膜之间的距离。从而实现对胶囊内镜在体内的精确定位。

Description

一种胶囊内镜定位***
技术领域
本发明涉及医疗器械技术领域，更具体地说，涉及一种胶囊内镜定位***。
背景技术
胶囊内镜用于在人体消化道内移动的同时拍摄人体消化道内壁的图像或视频，并通过无线方式传至外部的信号接收装置，与传统医用内窥镜相比，胶囊内镜具有操作简单、无创伤、无痛苦、无交叉感染、不影响患者正常工作等优点，尤其对小肠疾病检查具有很高的医用诊断价值。
胶囊内镜在体内的运动分为：被动式和主动式两种，被动式为胶囊内镜随着消化道蠕动而前进，其运动具有不可控和随机性，可能存在某些解剖位置的过度检查或者漏检；而主动式为胶囊内镜随着外部的外加磁场的控制而前进、后退、俯仰、或者翻滚，其运动具有可控性，可以对消化道或者病灶部位进行更加有效而全面的检查。
对于主动式胶囊内镜(以后简称胶囊内镜)而言，其胶囊内镜在体内所处的解剖位置的自动定位，对于检查过程是必要的，胶囊内镜在体内所处解剖位置的自动定位和解析，能够对操作者提供胶囊内镜所处解剖位置的判定，能够对病灶部位更好的进行不同方位和尺度的观察，有助于操作者制定更全面的检查路线避免漏检。目前消化道位置的识别方案大都是通过医护人员依赖胶囊内镜传回的图像数据对胶囊内镜所处的位置进行大致识别，容易受医护人员的主观因素影响，无法实现胶囊内镜在体内的精确定位。
综上所述，如何提供一种能够实现胶囊内镜在体内的精确定位的技术方案，是目前本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种胶囊内镜定位***，以实现胶囊内镜在体内的精确定位。
为了实现上述目的，本发明提供如下技术方案：
一种胶囊内镜定位***，包括：
获取模块，用于：获取胶囊内镜采集的消化道图片、该消化道图片的图片亮度及采集该消化道图片时所述胶囊内镜中实现图片采集的镜头的镜头参数；
定位模块，用于：将所述消化道图片输入至预先训练的深度网络模型中，得到所述深度网络模型输出的与所述消化道图片对应的消化道位置；并基于预先确定的对应关系确定出与所述图片亮度及所述镜头参数对应的采集所述消化道图片时所述镜头距离消化道黏膜之间的距离；
输出模块，用于：将所述胶囊内镜采集所述消化道图片时的位姿信息输出，该位姿信息包括所述消化道图片对应消化道位置及所述镜头距离消化道黏膜之间的距离。
优选的，还包括：
姿态计算模块，用于：检测所述胶囊内镜采集所述消化道图片时的加速度；判断所述胶囊内镜所处消化道位置的外部预设磁场是否满足预设条件，如果是，则检测所述胶囊内镜所处消化道位置的磁感应强度，并将该磁感应强度和所述加速度同时代入预设公式中计算所述胶囊内镜的姿态角；如果否，则检测所述胶囊内镜绕自身预设三轴转动的角速度，并将各所述角速度分别进行积分计算所述胶囊内镜的姿态角；
将所述胶囊内镜的姿态角加入至所述位姿信息中。
优选的，所述姿态计算模块包括：
第一计算单元，用于：通过公式
Figure BDA0001597124310000021
计算所述胶囊内镜的俯仰角pitch；
通过公式
Figure BDA0001597124310000022
计算所述胶囊内镜的横滚角roll；
通过公式
yaw＝ξ+θ
计算所述胶囊内镜的偏航角yaw；且
Figure BDA0001597124310000031
其中，ξ表示当外部预设磁场满足预设条件时在水平方向上的偏转角度；θ为
Figure BDA0001597124310000036
与
Figure BDA0001597124310000037
在水平方向上的夹角；
Figure BDA0001597124310000038
为所述胶囊内镜的x轴基向量，设
Figure BDA0001597124310000039
Figure BDA00015971243100000310
Figure BDA00015971243100000311
为所述胶囊内镜的y轴基向量，设
Figure BDA00015971243100000312
Figure BDA00015971243100000313
为所述胶囊内镜的z轴基向量，设
Figure BDA00015971243100000314
Figure BDA00015971243100000315
为所述胶囊内镜采集所述消化道图片时的加速度，设
Figure BDA00015971243100000316
Figure BDA00015971243100000317
为所述胶囊内镜所处消化道位置的磁感应强度，设
Figure BDA00015971243100000318
Figure BDA00015971243100000319
为
Figure BDA00015971243100000320
在所述胶囊内镜的x-y平面上的投影，设
Figure BDA00015971243100000321
Figure BDA00015971243100000322
且
Figure BDA00015971243100000323
当
Figure BDA00015971243100000324
且A∈R,A>0时，roll＝|roll|，当
Figure BDA00015971243100000325
且A∈R,A≤0时，roll＝-|roll|；当
Figure BDA00015971243100000326
且A∈R,A>0时，θ＝|θ|，当
Figure BDA00015971243100000327
且A∈R,A≤0时，θ＝-|θ|。
优选的，所述姿态计算模块包括：
第二计算单元，用于：通过公式
Figure BDA0001597124310000032
计算t时刻所述胶囊内镜绕自身预设x轴转动的角度；
通过公式
Figure BDA0001597124310000033
计算t时刻所述胶囊内镜绕自身预设y轴转动的角度；
通过公式
Figure BDA0001597124310000034
计算t时刻所述胶囊内镜绕自身预设z轴转动的角度；
则所述胶囊内镜的姿态角可通过旋转矩阵表示为：
Figure BDA0001597124310000035
其中，α0、β0和γ0分别为积分常数项中所述胶囊内镜绕自身预设x轴的初始转动角度、所述胶囊内镜绕自身预设y轴的初始转动角度和所述胶囊内镜绕自身预设z轴的初始转动角度；ωx、ωy和ωz分别为所述胶囊内镜绕自身预设三轴转动的角速度，所述积分常数项为将外部预设磁场在从满足预设条件转变为不满足预设条件的瞬时时刻所计算的所述胶囊内镜的姿态角。
优选的，还包括：
模型训练模块，用于：获取训练集和测试集，所述训练集及所述测试集中包含消化道图片及表示每个所述消化道图片对应消化道位置的标记；
选取基于深度学习框架的深度网络模型作为当前深度网络模型，利用所述训练集对深度网络模型进行训练，利用所述测试集测试训练后的深度网络模型得到深度网络模型的识别精度数据，判断该识别精度数据是否符合预设精度要求，若是，则确定训练后的深度网络模型为完成训练的深度网络模型，若否，则确定对训练后的深度网络模型进行调整后得到的深度网络模型为深度网络模型，返回执行所述利用所述训练集对深度网络模型进行训练的步骤。
优选的，还包括：
预处理模块，用于：获取所述训练集及所述测试集之后，确定所述训练集及所述测试集中对应消化道位置为未知的消化道图片为未知类图片，并利用感知哈希算法排除所述未知类图片中相似度大于预设阈值的图片；
对所述训练集及所述测试集中包含的消化道图片进行预设角度旋转处理和图像增强处理。
优选的，所述模型训练模块包括：
第一训练单元，用于：将所述训练集中包含的消化道图片组合成多个子训练集，其中每个子训练集包含的消化道图片不完全相同；利用所述多个子训练集分别训练深度网络模型得到对应的多个深度网络模型，并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度数据，选取对应识别精度数据表明识别精度最高的深度网络模型为利用所述训练集对深度网络模型进行训练后的深度网络模型。
优选的，所述模型训练模块包括：
第二训练单元，用于：利用所述测试集测试深度网络模型，并基于测试所得结果按照下列公式计算该深度网络模型的识别精度数据中包括的识别正确率及阳性预测率：
识别正确率＝测试集中自动识别出的正确的某消化道位置的消化道图片的数量/测试集中对应消化道位置的消化道图片的总数量*100％；
阳性预测率＝测试集中自动识别出的正确的某消化道位置的消化道图片的数量/测试集中自动识别出的对应消化道位置的消化道图片的总数量*100％。
优选的，还包括：
判别模块，用于：将所述胶囊内镜采集所述消化道图片时的位姿信息输出之前，判断所述消化道位置是否为未知类，如果是，则将距离时刻最近一次输出的位姿信息进行输出，如果否，则指示所述输出模块执行所述将所述胶囊内镜采集所述消化道图片时的位姿信息输出的步骤。
优选的，所述输出模块包括：
显示单元，用于：将预先绘制的模拟胶囊内镜的位姿设置成、与所述胶囊内镜采集所述消化道图片时的位姿信息对应的位姿，并对该模拟胶囊内镜进行显示。
本发明提供了一种胶囊内镜定位***，该***包括：获取模块，用于：获取胶囊内镜采集的消化道图片、该消化道图片的图片亮度及采集该消化道图片时所述胶囊内镜中实现图片采集的镜头的镜头参数；定位模块，用于：将所述消化道图片输入至预先训练的深度网络模型中，得到所述深度网络模型输出的与所述消化道图片对应的消化道位置；并基于预先确定的对应关系确定出与所述图片亮度及所述镜头参数对应的采集所述消化道图片时所述镜头距离消化道黏膜之间的距离；输出模块，用于：将所述胶囊内镜采集所述消化道图片时的位姿信息输出，该位姿信息包括所述消化道图片对应消化道位置及所述镜头距离消化道黏膜之间的距离。本发明提供的技术方案，通过深度网络模型实现对消化道图片对应消化道位置的识别，并且通过图片亮度及消化道图片采集时刻镜头的镜头参数确定出对应的镜头与消化道黏膜之间的距离，从而实现对胶囊内镜在体内的精确定位，并将最终得到的位姿信息进行输出，为操作者实现进一步的检查规划路线具有很好的指导意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种胶囊内镜定位方法的流程图；
图2为本发明实施例提供的一种胶囊内镜定位方法中胶囊内镜的三轴坐标系与检测到的加速度、磁场向量的示意图；
图3为本发明实施例提供的一种胶囊内镜定位***的结构示意图；
图4为本发明实施例提供的一种胶囊内镜定位方法及***对应硬件***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明实施例提供的一种胶囊内镜定位方法的流程图，可以包括：
S11：获取胶囊内镜采集的消化道图片、该消化道图片的图片亮度及采集该消化道图片时胶囊内镜中实现图片采集的镜头的镜头参数。
其中，镜头的镜头参数可以包括镜头的增益、曝光时间等，而本申请中的胶囊内镜具体可以指磁控胶囊内镜，通过胶囊内镜在人体内的图片采集可以得到对应的消化道图片。本发明实施例提供的本发明实施例提供的一种胶囊内镜定位方法的执行主语可以为对应的胶囊内镜定位方法。
S12：将消化道图片输入至预先训练的深度网络模型中，得到深度网络模型输出的与消化道图片对应的消化道位置；并基于预先确定的对应关系确定出与图片亮度及镜头参数对应的采集消化道图片时镜头距离消化道黏膜之间的距离。
将胶囊内镜采集的消化道图片输入至预先训练完成的深度网络模型，得到深度网络模型输出的该消化道图片对应的消化道位置。其中胶囊内镜采集的消化道图片即为需要识别其对应的消化道位置的消化道图片，将该消化道图片输入至训练完成的深度网络模型，深度网络模型则会输出该消化道图片对应的消化道位置，从而实现对该消化道图片的消化道位置的识别。
根据消化道图片的图片信息计算胶囊内镜的镜头距离消化道黏膜的距离，可以是通过同一时刻图片亮度、镜头参数及镜头距离消化道黏膜之间的对应关系来获得，该关系可以为实验所得，本申请中以镜头参数为镜头的增益及曝光时间为例进行说明，上述对应关系的获取过程可以是：实验模拟体内环境，在胶囊内镜的镜头有效拍摄距离内，通过定步长改变被摄物与胶囊内镜之间的距离，在被摄物与胶囊内镜距离一定的情况下，调整胶囊内镜的镜头的增益和曝光时间，通过计算胶囊内镜采集到的图片亮度来获得有关不同成像距离(成像距离即为镜头距离消化道黏膜之间的距离)与胶囊内镜的镜头的增益、曝光时间和图片亮度之间的对应关系表。具体实施过程中，的成像距离与胶囊内镜镜头的增益、曝光时间及图片亮度之间的关系对应表通过实验获得，并保存在实现本发明实施例提供的技术方案的定位***中，通过采集的消化道图片的图片亮度并结合胶囊内镜镜头的增益、曝光时间，通过实验获得的对应关系表，得到胶囊内镜的镜头与被摄物(本申请中可以指消化道黏膜)之间的距离。
S13：将胶囊内镜采集消化道图片时的位姿信息输出，该位姿信息包括消化道图片对应消化道位置及镜头距离消化道黏膜之间的距离。
其中对于上述位姿信息的输出可以是将其显示在对应的显示单元上，以使得工作人员可以基于显示单元上显示的信息直观快速的获取到胶囊内镜的位姿信息，当然也可以根据实际需要进行其他设定均在本发明的保护范围之内。另外需要说明的是，本发明实施例中的位姿信息对应同一消化道图片，也即对应同一时刻胶囊内镜的位姿。
本发明提供的技术方案，通过深度网络模型实现对消化道图片对应消化道位置的识别，并且通过图片亮度及消化道图片采集时刻镜头的镜头参数确定出对应的镜头与消化道黏膜之间的距离，从而实现对胶囊内镜在体内的精确定位，并将最终得到的位姿信息进行输出，为操作者实现进一步的检查规划路线具有很好的指导意义。
本发明实施例提供的一种胶囊内镜定位方法，还可以包括：
检测胶囊内镜采集消化道图片时的加速度；
判断胶囊内镜所处消化道位置的外部预设磁场是否满足预设条件，如果是，则检测胶囊内镜所处消化道位置的磁感应强度，并将该磁感应强度和加速度同时代入预设公式中计算胶囊内镜的姿态角；如果否，则检测胶囊内镜绕自身预设三轴转动的角速度，并将各角速度分别进行积分计算胶囊内镜的姿态角；
将胶囊内镜的姿态角加入至位姿信息中。
对上述步骤进行具体说明时，认为检测加速度为第一个步骤，计算姿态角为第二个步骤，将姿态角加入位姿信息为第三个步骤，即上述还包括的步骤中每个小段落对应一个步骤。
其中，在第一个步骤中，首先检测胶囊内镜采集消化道图片时的加速度，该加速度为矢量，具有大小和方向，具体的，在本步骤中，可以通过设置在胶囊内镜内的三轴加速度传感器来检测其三轴方向上的加速度。此处所指三轴方向，即以胶囊内镜为基准制定的三维坐标系，其中的X、Y、Z轴可在胶囊内镜上任意指定，不影响其姿态的准确测定。但为方便论述，本实施例以下内容均以胶囊内镜的轴向方向为Z轴，且为右手坐标系为标准进行说明。如此，三轴加速度传感器检测出胶囊内镜的每轴方向上的加速度之后，之后即可将三轴上的各个加速度相加，计算出合加速度作为胶囊内镜的加速度。
在第二个步骤中，由于通过空间磁场向量辅助测定胶囊内镜姿态角需要外部预设磁场满足一定条件——一般为该外部预设磁场需为水平定向磁场，或者磁感线平行度高于95％的水平磁场，而外部预设磁场在作业中又是阶段性变化的，因此首先需要判断胶囊内镜所处消化道位置的外部预设磁场是否满足预设条件。如果是，则说明此时可以通过空间磁场向量的辅助测定手段进行姿态角测定。如此即可检测胶囊内镜所处消化道位置的磁感应强度，然后将该检测的磁感应强度和胶囊内镜采集对应消化道图片的加速度进行数据融合，两者同时代入预设公式中进行计算，即可精确地测定出胶囊内镜的姿态角。如果否，则说明此时无法通过空间磁场向量的辅助手段进行姿态角测定，考虑到胶囊内镜的姿态角变化时，其绕自身预设三轴转动的角度也同步发生变化，因此此时可检测胶囊内镜绕自身预设三轴转动的角速度，然后将该三个角速度分别进行积分计算，即可计算出胶囊内镜绕自身预设三轴转动的角度，进而精确地测定胶囊内镜的姿态角。
如此，上述技术方案在外部预设磁场满足预设条件时，可通过胶囊内镜的加速度与所处消化道位置的磁感应强度进行数据融合，精确地计算胶囊内镜的姿态角；而在外部预设磁场不满足预设条件时，可通过胶囊内镜的加速度与其绕自身预设三轴转动的角速度进行数据融合，精确地计算胶囊内镜的姿态角。综上，在外部预设磁场变化的环境下，本实施例所提供的上述技术方案总能精确地实现胶囊内镜的全姿态测定。
本发明实施例提供的一种胶囊内镜定位方法，将磁感应强度和加速度同时代入预设公式中计算胶囊内镜的姿态角，可以包括：
通过公式
Figure BDA0001597124310000091
计算胶囊内镜的俯仰角pitch；
通过公式
Figure BDA0001597124310000092
计算胶囊内镜的横滚角roll；
通过公式
yaw＝ξ+θ
计算胶囊内镜的偏航角yaw；且
Figure BDA0001597124310000093
其中，ξ表示当外部预设磁场满足预设条件时在水平方向上的偏转角度；θ为
Figure BDA0001597124310000094
与
Figure BDA0001597124310000095
在水平方向上的夹角；
Figure BDA0001597124310000096
为胶囊内镜的x轴基向量，设
Figure BDA0001597124310000097
Figure BDA0001597124310000098
为胶囊内镜的y轴基向量，设
Figure BDA0001597124310000099
Figure BDA00015971243100000910
为胶囊内镜的z轴基向量，设
Figure BDA00015971243100000911
Figure BDA00015971243100000912
为胶囊内镜采集消化道图片时的加速度，设
Figure BDA00015971243100000913
Figure BDA00015971243100000914
为胶囊内镜所处消化道位置的磁感应强度，设
Figure BDA00015971243100000915
Figure BDA00015971243100000916
为
Figure BDA00015971243100000917
在胶囊内镜的x-y平面上的投影，设
Figure BDA00015971243100000918
且
Figure BDA00015971243100000919
当
Figure BDA00015971243100000920
且A∈R,A>0时，roll＝|roll|，当
Figure BDA00015971243100000921
且A∈R,A≤0时，roll＝-|roll|；当
Figure BDA00015971243100000922
且A∈R,A>0时，θ＝|θ|，当
Figure BDA00015971243100000923
且A∈R,A≤0时，θ＝-|θ|。
在检测胶囊内镜所处消化道位置的磁感应强度时，具体可通过设置在胶囊内镜内的磁场传感器检测其磁感应强度。与胶囊内镜的加速度一样，该磁感应强度同样为矢量，具有大小和方向，由于外部预设磁场在正常运行时，是呈阶段性变化的，因此其磁感应强度也随时处于变化中。而外部预设磁场在满足预设条件、形成水平定向磁场时，其磁场方向相对于预设的标准轴(一般可为以人体为中心建立的地面坐标系的水平坐标轴)的水平方向偏转角度是已知的，设其角度为ξ。同时在将磁感应强度和加速度同时代入预设公式中计算胶囊内镜的姿态角时，具体的，首先可对胶囊内镜进行三轴坐标系构建。本实施例中均以胶囊内镜的轴向方向为Z轴方向，横截面方向为X-Y平面方向为例进行说明。如此，胶囊内镜的x轴基向量
Figure BDA0001597124310000103
即为[1 0 0]，而胶囊内镜的y轴基向量
Figure BDA0001597124310000104
即为[0 1 0]，其z轴基向量
Figure BDA0001597124310000105
即为[00 1]。同时可设检测出的加速度
Figure BDA0001597124310000106
为[gx gy gz]，胶囊内镜所处消化道位置的磁感应强度
Figure BDA0001597124310000107
为[mx my mz]，对应示意图如图2所示。同时，胶囊内镜的姿态由姿态角确定，而姿态角主要包括俯仰角、横滚角和偏航角，因此，可令俯仰角为pitch，横滚角为roll，偏航角为yaw。
其中，俯仰角pitch可以通过胶囊内镜的加速度和胶囊内镜自身坐标系Z轴之间的夹角来求得，所以俯仰角可以通过公式：
Figure BDA0001597124310000101
进行计算。
横滚角roll的计算方法同理，首先可设胶囊内镜的加速度在胶囊内镜自身坐标系xy平面上的投影向量为
Figure BDA0001597124310000108
则
Figure BDA0001597124310000109
为[gx gy 0]，如此横滚角roll可通过公式：
Figure BDA0001597124310000102
进行计算。
其中，当
Figure BDA00015971243100001010
且A∈R,A>0时，roll＝|roll|，
当
Figure BDA00015971243100001011
且A∈R,A≤0时，roll＝-|roll|。
偏航角yaw需要将加速度和磁感应强度进行数据融合处理，同时还需要利用前述外部预设磁场在水平方向上的偏转角度ξ。
首先设θ为磁感应强度与胶囊内镜自身坐标系Z轴方向的水平方向夹角，其次，令
Figure BDA0001597124310000111
其中，
Figure BDA0001597124310000117
为
Figure BDA0001597124310000118
与
Figure BDA0001597124310000119
组成平面的法向量，
Figure BDA00015971243100001110
为
Figure BDA00015971243100001111
与
Figure BDA00015971243100001112
组成平面的法向量，如此则有：
Figure BDA0001597124310000112
其中，当
Figure BDA00015971243100001113
且A∈R,A>0时，θ＝|θ|，
当
Figure BDA00015971243100001114
且A∈R,A≤0时，θ＝-|θ|；
上述A均为系数。
θ计算出之后，将其与ξ相加即为偏航角yaw，即yaw＝ξ+θ。
至此，胶囊内镜的俯仰角pitch、横滚角roll和偏航角yaw均已计算出来，可以顺利获知胶囊内镜的姿态角，实现对胶囊内镜的全姿态解析。
本发明实施例提供的一种胶囊内镜定位方法，将各角速度分别进行积分计算胶囊内镜的姿态角，可以包括：
通过公式
Figure BDA0001597124310000113
计算t时刻胶囊内镜绕自身预设x轴转动的角度；
通过公式
Figure BDA0001597124310000114
计算t时刻胶囊内镜绕自身预设y轴转动的角度；
通过公式
Figure BDA0001597124310000115
计算t时刻胶囊内镜绕自身预设z轴转动的角度；
则胶囊内镜的姿态角可通过旋转矩阵表示为：
Figure BDA0001597124310000116
其中，α0、β0和γ0分别为积分常数项中胶囊内镜绕自身预设x轴的初始转动角度、胶囊内镜绕自身预设y轴的初始转动角度和胶囊内镜绕自身预设z轴的初始转动角度；ωx、ωy和ωz分别为胶囊内镜绕自身预设三轴转动的角速度，积分常数项为将外部预设磁场在从满足预设条件转变为不满足预设条件的瞬时时刻所计算的胶囊内镜的姿态角。
具体来说，将角速度分别进行积分计算胶囊内镜的姿态角时，还可以包括：将外部预设磁场在从满足预设条件转变为不满足预设条件的瞬时时刻所计算的胶囊内镜的姿态角作为积分常数项，对将各角速度分别进行积分计算的算式进行修正。
当外部预设磁场不满足预设条件时，需要检测胶囊内镜绕自身预设三轴转动的角速度，并将各角速度分别进行积分计算，以测定姿态角。具体的，在检测胶囊内镜绕自身预设三轴转动的角速度时，具体可通过设置在胶囊内镜内的角速度传感器检测其角速度。同时，考虑到在MEMS领域，角速度传感器因为测量的是角速度而不是角度本身，会为***带来误差。角度可以由角速度定积分求得，积分的过程中由于测量误差、采样误差等因素的影响，得到的是一个引入了误差的量，在短时间之内，对姿态测定的精度影响并不大，可以忽略，但是当长时间持续通过角速度积分的方式测定姿态角时，***累计误差会随着时间的推移越来越大。针对此，本实施例中增设了修正环节。
由于当外部预设磁场满足预设条件时，其测定的姿态角是精确无误差的，因此可将此段时间内测定的姿态角进行记录，当外部预设磁场突然发生变化，而不满足预设条件时，在外部预设磁场在从满足预设条件转变为不满足预设条件的瞬时时刻所记录的姿态角即为最后一组无累积误差数据，并将其作为积分常数项，作为后续通过角速度积分运算的修正参数，以此消除在长时间通过角速度积分求解姿态角的过程中形成的***累积误差。
具体的，在将各角速度分别进行积分计算胶囊内镜的姿态角时，首先可通过公式：
Figure BDA0001597124310000121
计算t时刻胶囊内镜绕自身预设x轴转动的角度，
同时可通过公式：
Figure BDA0001597124310000122
计算t时刻胶囊内镜绕自身预设y轴转动的角度，
同时可通过公式：
Figure BDA0001597124310000123
计算t时刻胶囊内镜绕自身预设z轴转动的角度。
其中，ωx、ωy和ωz分别为胶囊内镜绕自身预设三轴转动的角速度。
t为从外部预设磁场在从满足预设条件转变为不满足预设条件的瞬时时刻开始计时的时间，而α0、β0和γ0分别为积分常数项中胶囊内镜绕自身预设x、y和z轴的初始转动角度，各初始转动角度均与记录的最后一组无累积误差数据相关，可通过该组数据中的俯仰角pitch、横滚角roll和偏航角yaw转换而得。
之后，即可根据上述三个计算胶囊内镜绕自身预设三轴转动的角度的计算公式，将胶囊内镜的姿态角解出，为方便论述，本实施例使用动力学中的滚动-俯仰-偏摆表示法，通过旋转矩阵Rrpy(φ，θ，ψ)将胶囊内镜的姿态角表示为：
Figure BDA0001597124310000131
而通过对该矩阵内的数据进行运算即可分别获得俯仰角pitch、横滚角roll和偏航角yaw的一般表达式，此处不再赘述。
另外需要说明的是，可以通过设置于胶囊内镜内的陀螺仪实现角速度的检测。
本发明实施例提供的一种胶囊内镜定位方法，训练深度网络模型，可以包括：
获取训练集和测试集，训练集及测试集中包含消化道图片及表示每个消化道图片对应消化道位置的标记；
选取基于深度学习框架的深度网络模型作为当前深度网络模型，利用训练集对深度网络模型进行训练，利用测试集测试训练后的深度网络模型得到深度网络模型的识别精度数据，判断该识别精度数据是否符合预设精度要求，若是，则确定训练后的深度网络模型为完成训练的深度网络模型，若否，则确定对训练后的深度网络模型进行调整后得到的深度网络模型为深度网络模型，返回执行利用训练集对深度网络模型进行训练的步骤。
数据集准备包括对训练集及测试集的获取，其中训练集用于实现深度网络模型的训练，测试集用于实现深度网络模型的测试，测试集和训练集包含的消化道图片(本申请中可简称为图片)均可以通过来自消化科内镜室阅片医务人员对胶囊内镜采集到的完整图片进行手工标记得到的，标记的消化道位置可以包括但不限于食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠等，对不同解剖位置采用不同的标号进行标注，标记原则为可以依据单张图片信息进行人眼辨识解剖位置，训练集与测试集中包含的消化道图片不同，由此能够提高训练出的深度网络模型的识别精度。举例来说明，可以采用N个病人的消化道图片作为数据集，将其中第i个病人的消化道图片作为测试集，剩下的除了第i个病人之外的N-1个病人的消化道图片作为训练集(1≤i≤N)。
本申请中采用深度网络模型实现消化道位置的识别，而深度网络模型的选取及其模型参数的设定可以预先根据实际需要设定，本申请中深度网络模型可以采用基于CNN前馈卷积神经网络模型的Alexnet、Resnet、Googlenet、VGG等，本文实施例中通过对上述网络模型进行训练并测试后比较发现，对于胶囊内镜图片(即本申请中的消化道解剖图片)而言，Alexne网络模型具有相对较高的识别正确率和预测阳性率，因此本申请中优选Alexne网络模型实现对应功能，也即选取基于深度学习框架的深度网络模型作为当前深度网络模型，可以包括：选取基于深度学习框架的Alexne网络模型作为当前深度网络模型。
具体来说，本申请中选用的深度网络模型优选基于Alexne网络模型实现，该Alexne网络模型基本层数为8层，5层卷积层，3层全连接层，最后一个全连接层的输出层为带有损失函数输出的精度层，输出层的输出个数为消化道位置的个数；在第一层卷积层(conv1)与第二层卷积层(conv2)之后是归一化层(norm)，在每一个卷积层以及全连接层(FC)紧跟着采用了RELU操作，即激活函数用来解决非线性问题，在norm1，norm2，conv5之后为池化层(pooling)。而预设精度要求为根据实际需要预先设定的，如果识别精度数据符合预设精度要求，则说明该识别精度数据对应的深度网络模型的识别精度达到对识别精度的要求，此时则确定训练完成，否则，则调整对应深度网络模型后重新对该深度网络模型训练，从而保证最终完成训练的深度网络模型的识别精度较高。
本发明实施例公开的上述技术方案中，获取包含消化道图片及对应消化道位置标记的训练集及测试集，利用训练集训练深度网络模型，利用测试集测试该深度网络模型得到表示该深度网络模型的识别精度的识别精度数据，并在该识别精度数据对应的识别精度不符合要求时调整深度网络模型后返回执行利用训练集训练深度网络模型的步骤，直至深度网络模型对应识别精度数据符合要求为止，从而保证了深度网络模型的识别精度较高。
本发明实施例提供的一种胶囊内镜定位方法，获取训练集及测试集之后，还可以包括：
确定训练集及测试集中对应消化道位置为未知的消化道图片为未知类图片，并利用感知哈希算法排除未知类图片中相似度大于预设阈值的图片；
对训练集及测试集中包含的消化道图片进行预设角度旋转处理和图像增强处理。
训练集及测试集包含的消化道图片中还包括了标记为未知类的图片，这类图片为胶囊内镜采集到的完整消化道图片中除去可以辨别消化道位置后的剩余图片，比如被气泡或者其他消化道内容物遮挡的一些人眼无法通过单张辨别的消化道解剖图片，或者贴近消化道黏膜较难识别的可以标记为未知类，在本发明中，为了使标记为消化道位置类的图片与标记为未知类的图片在数量上保持一定的均衡性，对未知类图片采用感知哈希算法排除相似度高(即相似度大于预先根据实际需要确定的设定阈值)的图片，将相似度低的图片留下作为深度网络模型训练及测试的未知类。具体来说，采用感知哈希算法排除相似图片的过程可以如下：
S1，将相邻两张图片缩小到8*8尺寸；
S2，对于缩小后的图片，如果是彩色图片，则对其进行降低灰度级的处理，具体可以降到64级灰度；
S3，计算8*8图片所有像素的灰度平均值；
S4，将每个像素的灰度与灰度平均值进行比较，大于或等于平均值的像素记为1，小于平均值的像素记为0，得到对应图片的哈希值；将两张图片的哈希值进行对比，看对应像素的哈希值是否相等，记录不相等的像素个数，如果该个数达到根据实际需要设定的一定的阈值，说明两图片不相似；如果该个数未达到上述阈值，则两张图片相似，排除第一张，保留第二张与下一张图片重复上述过程，直至遍历全部图片。
另外本申请中可以直接使用训练集及测试集中包含的图片，但是为了使最后的深度网络模型能够适应各向同性的识别结果，在本实施例中可以对数据集中所有图片进行一定角度旋转处理和图像增强处理，其中旋转的角度可以根据实际需要进行设定，而旋转处理和图像增强处理与现有技术中对应技术方案的实现原理一致，在此不再赘述。当然也可以只对训练集及测试集中的图片进行预设角度旋转或者仅进行图像增强处理等，均在本发明的保护范围之内。
本发明实施例提供的一种胶囊内镜定位方法，利用训练集对深度网络模型进行训练，可以包括：
将训练集中包含的消化道图片组合成多个子训练集，其中每个子训练集包含的消化道图片不完全相同；利用多个子训练集分别训练深度网络模型得到对应的多个深度网络模型，并利用测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度数据，选取对应识别精度数据表明识别精度最高的深度网络模型为利用训练集对深度网络模型进行训练后的深度网络模型。
可以将训练集中包含的消化道图片组合成多个子训练集，如当训练集中包含n个病人的图片时，可以将第j个病人之外其他病人的图片作为子训练集，j分别取值由1至n，从而可以得到n个子训练集。通过多个子训练集得到对应的深度网络模型并由中选取出最优的模型实现后续步骤，进一步提高了训练得到的深度网络模型的精度。
另外还可以由数据集组成多个子训练集及测试集，如当数据集中包含N个病人的图片时，可以将第i个病人之外其他病人的图片作为子训练集，而第i个病人的图片作为对应子测试集，i分别取值由1至N，从而可以得到N个子训练集及N个子测试集，从而利用任一子训练集训练深度网络模型后利用对应子测试集实现该深度网络模型的测试，最终选取识别精度最高的深度网络模型作为利用训练集对深度网络模型进行训练后的深度网络模型实现后续步骤，从而最大限度的利用数据集实现了对深度网络模型的训练，并提高了深度网络模型的精度。
本发明实施例提供的一种胶囊内镜定位方法，利用测试集测试深度网络模型得到深度网络模型的识别精度数据，可以包括：
利用测试集测试深度网络模型，并基于测试所得结果按照下列公式计算该深度网络模型的识别精度数据中包括的识别正确率及阳性预测率：
识别正确率＝测试集中自动识别出的正确的某消化道位置的消化道图片的数量/测试集中对应消化道位置的消化道图片的总数量*100％；
阳性预测率＝测试集中自动识别出的正确的某消化道位置的消化道图片的数量/测试集中自动识别出的对应消化道位置的消化道图片的总数量*100％。
利用测试集测试深度网络模型具体可以包括：将测试集的图片作为深度网络模型的输入，得到深度网络模型输出的图片对应消化道位置，图片已经具有的标记对应消化道位置与深度网络模型输出的消化道位置一致则确定正确识别了该图片，否则则认为未正确识别出该图片，从而能够统计出测试集中自动识别出的正确的某消化道位置的消化道图片的数量、测试集中对应消化道位置的消化道图片的总数量、测试集中自动识别出的正确的某消化道位置的消化道图片的数量、测试集中自动识别出的对应消化道位置的消化道图片的总数量，进而基于统计得到的上述数量计算深度网络模型的识别正确率及阳性预测率，如果识别正确率及阳性预测率均达到预设精度要求中对应的数值，则说明深度网络模型的识别精度符合要求，训练完成，否则，则说明深度网络模型的识别精度不符合要求，训练未完成并继续后续训练步骤。
另外将胶囊内镜采集的消化道图片输入至训练完成的深度网络模型，得到深度网络模型输出的该消化道图片对应的消化道位置，可以包括：
将胶囊内镜采集的消化道图片输入至训练完成的深度网络模型，得到该深度网络模型包含的带有概率输出的softmax层输出的采集的消化道图片对应不同消化道位置的概率，并确定该概率最大的消化道位置为采集的消化道图片对应的消化道位置。
本申请中深度网络模型的输出层可以采用带有概率的softmax层，对应深度网络模型输出的包括胶囊内镜采集的消化道图片对应每个消化道位置的概率，从中选取概率最大的消化道位置为对应图片的消化道位置，从而保证了识别精度。
另外需要说明的是，本发明实施例提供的上述技术方案中对于胶囊内镜采集的图片，可以采用读取图片内存数据或者图片存放路径的方式输入深度网络模型，且可以将训练集包含的图片采用训练列表的方式存放在硬盘上，以供训练时获取。
上述技术方案中利用训练集对深度网络模型进行训练，可以包括：在GPU上利用训练集对深度网络模型进行训练。
对于深度网络模型的训练可以在GPU、CPU等之上实现，在本实施例中，为了使得训练深度网络模型的速度更快，优先采用高速计算性能卡GPU平台上实现深度网络模型的训练过程，当然还可以根据实际应用需要在其他硬件平台上进行，，均在本发明的保护范围之内。
另外深度网络模型基于的深度学习框架可以为Caffe、Caffe2、Tensorflow、Theano、Torch、CNTK等，具体可以根据实际需要进行设定，均在本发明的保护范围之内。本文中优选采用Caffe框架下的Alexnet网路模型作为深度网络学习模型，对应的对Caffe框架下调用对应命令行语句来实现对深度网络学习模型的训练。
上述技术方案中确定对训练后的深度网络模型进行调整后得到的深度网络模型为深度网络模型，可以包括：确定对训练后的当前深度网络模型做调整后得到的深度网络模型为当前深度网络模型，调整包含对当前深度网络模型的网络超参数和层数的调整。
需要说明的是，对深度网络模型的调整可以是调整网络模型的网络超参数及层数，具体可以通过更改对应配置文件solver.prototxt中的内容实现，主要可以包含训练种的基础学习率、学习率的调整策略及最大迭代次数等，还可以增加训练集包含的图片数量；从而提高训练出的深度网络模型的精度。本实施例中的上述调整可以为fine-tuning微调处理。
本发明实施例提供的一种胶囊内镜定位方法，将胶囊内镜采集消化道图片时的位姿信息输出之前，还可以包括：
判断消化道位置是否为未知类，如果是，则将距离时刻最近一次输出的位姿信息进行输出，如果否，则指示输出模块执行将胶囊内镜采集消化道图片时的位姿信息输出的步骤。
判断出消化道位置为未知类，即消化道位置为人工无法确定其真实位置的类别，则认为上一次确定出的消化道位置不为未知类的位姿信息(即距离当前时刻最近一次输出的位姿信息)为胶囊内镜采集消化道图片时刻的位姿信息并输出，以使得外界工作人员可以了解到胶囊内镜的位姿。
本发明实施例提供的一种胶囊内镜定位方法，将胶囊内镜采集消化道图片时的位姿信息输出可以包括：
将预先绘制的模拟胶囊内镜的位姿设置成、与胶囊内镜采集消化道图片时的位姿信息对应的位姿，并对该模拟胶囊内镜进行显示。
上述显示可以是由显示单元实现的，也即显示单元对于胶囊内镜的位姿信息的显示可以是将预先绘制的模拟胶囊内镜、设置成与胶囊内镜采集消化道图片时的位姿信息对应的位姿并显示，从而使得工作人员可以通过该模拟胶囊内镜直观快速的了解到真实的胶囊内镜的位姿信息。需要说明的是，模拟胶囊内镜可以是按照与真实的胶囊内镜1:1的比例绘制，并且可以在工作人员的控制下放大或者缩小模拟胶囊内镜的大小，以方便工作人员的查看。另外，显示单元可以包括触控屏，由此，通过触控屏对模拟胶囊内镜进行显示的同时，工作人员可通过触控屏实现对模拟胶囊内镜的大小、角度等的控制。
本发明实施例还提供了一种胶囊内镜定位***，如图2所示，可以包括：
获取模块11，用于：获取胶囊内镜采集的消化道图片、该消化道图片的图片亮度及采集该消化道图片时胶囊内镜中实现图片采集的镜头的镜头参数；
定位模块12，用于：将消化道图片输入至预先训练的深度网络模型中，得到深度网络模型输出的与消化道图片对应的消化道位置；并基于预先确定的对应关系确定出与图片亮度及镜头参数对应的采集消化道图片时镜头距离消化道黏膜之间的距离；
输出模块13，用于：将胶囊内镜采集消化道图片时的位姿信息输出，该位姿信息包括消化道图片对应消化道位置及镜头距离消化道黏膜之间的距离。
本发明实施例提供的一种胶囊内镜定位***，还可以包括：
姿态计算模块，用于：检测胶囊内镜采集消化道图片时的加速度；判断胶囊内镜所处消化道位置的外部预设磁场是否满足预设条件，如果是，则检测胶囊内镜所处消化道位置的磁感应强度，并将该磁感应强度和加速度同时代入预设公式中计算胶囊内镜的姿态角；如果否，则检测胶囊内镜绕自身预设三轴转动的角速度，并将各角速度分别进行积分计算胶囊内镜的姿态角；将胶囊内镜的姿态角加入至位姿信息中。
本发明实施例提供的一种胶囊内镜定位***，姿态计算模块可以包括：
第一计算单元，用于：通过公式
Figure BDA0001597124310000201
计算胶囊内镜的俯仰角pitch；
通过公式
Figure BDA0001597124310000202
计算胶囊内镜的横滚角roll；
通过公式
yaw＝ξ+θ
计算胶囊内镜的偏航角yaw；且
Figure BDA0001597124310000203
其中，ξ表示当外部预设磁场满足预设条件时在水平方向上的偏转角度；θ为
Figure BDA0001597124310000205
与
Figure BDA0001597124310000206
在水平方向上的夹角；
Figure BDA0001597124310000207
为胶囊内镜的x轴基向量，设
Figure BDA0001597124310000208
Figure BDA0001597124310000209
为胶囊内镜的y轴基向量，设
Figure BDA00015971243100002010
Figure BDA00015971243100002011
为胶囊内镜的z轴基向量，设
Figure BDA00015971243100002012
Figure BDA00015971243100002013
为胶囊内镜采集消化道图片时的加速度，设
Figure BDA00015971243100002014
Figure BDA00015971243100002015
为胶囊内镜所处消化道位置的磁感应强度，设
Figure BDA00015971243100002016
Figure BDA00015971243100002017
为
Figure BDA00015971243100002018
在胶囊内镜的x-y平面上的投影，设
Figure BDA00015971243100002019
且
Figure BDA00015971243100002020
当
Figure BDA00015971243100002021
且A∈R,A>0时，roll＝|roll|，当
Figure BDA00015971243100002022
且A∈R,A≤0时，roll＝-|roll|；当
Figure BDA00015971243100002023
且A∈R,A>0时，θ＝|θ|，当
Figure BDA00015971243100002024
且A∈R,A≤0时，θ＝-|θ|。
本发明实施例提供的一种胶囊内镜定位***，姿态计算模块可以包括：
第二计算单元，用于：通过公式
Figure BDA0001597124310000204
计算t时刻胶囊内镜绕自身预设x轴转动的角度；
通过公式
Figure BDA0001597124310000211
计算t时刻胶囊内镜绕自身预设y轴转动的角度；
通过公式
Figure BDA0001597124310000212
计算t时刻胶囊内镜绕自身预设z轴转动的角度；
则胶囊内镜的姿态角可通过旋转矩阵表示为：
Figure BDA0001597124310000213
其中，α0、β0和γ0分别为积分常数项中胶囊内镜绕自身预设x轴的初始转动角度、胶囊内镜绕自身预设y轴的初始转动角度和胶囊内镜绕自身预设z轴的初始转动角度；ωx、ωy和ωz分别为胶囊内镜绕自身预设三轴转动的角速度，积分常数项为将外部预设磁场在从满足预设条件转变为不满足预设条件的瞬时时刻所计算的胶囊内镜的姿态角。
本发明实施例提供的一种胶囊内镜定位***，还可以包括：
模型训练模块，用于：获取训练集和测试集，训练集及测试集中包含消化道图片及表示每个消化道图片对应消化道位置的标记；选取基于深度学习框架的深度网络模型作为当前深度网络模型，利用训练集对深度网络模型进行训练，利用测试集测试训练后的深度网络模型得到深度网络模型的识别精度数据，判断该识别精度数据是否符合预设精度要求，若是，则确定训练后的深度网络模型为完成训练的深度网络模型，若否，则确定对训练后的深度网络模型进行调整后得到的深度网络模型为深度网络模型，返回执行利用训练集对深度网络模型进行训练的步骤。
本发明实施例提供的一种胶囊内镜定位***，还可以包括：
预处理模块，用于：获取训练集及测试集之后，确定训练集及测试集中对应消化道位置为未知的消化道图片为未知类图片，并利用感知哈希算法排除未知类图片中相似度大于预设阈值的图片；对训练集及测试集中包含的消化道图片进行预设角度旋转处理和图像增强处理。
本发明实施例提供的一种胶囊内镜定位***，模型训练模块可以包括：
第一训练单元，用于：将训练集中包含的消化道图片组合成多个子训练集，其中每个子训练集包含的消化道图片不完全相同；利用多个子训练集分别训练深度网络模型得到对应的多个深度网络模型，并利用测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度数据，选取对应识别精度数据表明识别精度最高的深度网络模型为利用训练集对深度网络模型进行训练后的深度网络模型。
本发明实施例提供的一种胶囊内镜定位***，模型训练模块可以包括：
第二训练单元，用于：利用测试集测试深度网络模型，并基于测试所得结果按照下列公式计算该深度网络模型的识别精度数据中包括的识别正确率及阳性预测率：
识别正确率＝测试集中自动识别出的正确的某消化道位置的消化道图片的数量/测试集中对应消化道位置的消化道图片的总数量*100％；
阳性预测率＝测试集中自动识别出的正确的某消化道位置的消化道图片的数量/测试集中自动识别出的对应消化道位置的消化道图片的总数量*100％。
本发明实施例提供的一种胶囊内镜定位***，还可以包括：
判别模块，用于：将胶囊内镜采集消化道图片时的位姿信息输出之前，判断消化道位置是否为未知类，如果是，则将距离时刻最近一次输出的位姿信息进行输出，如果否，则指示输出模块执行将胶囊内镜采集消化道图片时的位姿信息输出的步骤。
本发明实施例提供的一种胶囊内镜定位***，输出模块可以包括：
显示单元，用于：将预先绘制的模拟胶囊内镜的位姿设置成、与胶囊内镜采集消化道图片时的位姿信息对应的位姿，并对该模拟胶囊内镜进行显示。
本发明实施例提供的一种胶囊内镜定位***中相关部分的说明请参见本发明实施例提供的一种胶囊内镜定位方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
另外需要说明的是，如图4所示，实现本发明实施例提供的上述技术方案的硬件***可以包括：胶囊内镜，包括胶囊内镜外壳、光照单元、图像采集单元(包括镜头)、微处理器、收发单元、加速度传感器、磁场传感器、内部磁体、电池；外部磁场装置，包括外部磁场发生装置、外部磁场检测装置；处理器，包括胶囊空间姿态计算单元，胶囊解剖位置识别单元、距离计算单元及显示单元。上述方案中与现有技术中对应技术方案实现原理一致的部件在此不做具体说明。
其中，加速度传感器用于胶囊内镜自身加速度向量的检测；磁场传感器用于胶囊内镜位置处由外部磁场发生器产生的磁场向量；外部磁场发生装置用于产生外部驱动磁场，用于对胶囊内镜产生拉力和扭矩力，从而驱动胶囊内镜进行滚动、旋转和倾斜运动，达到主动控制胶囊内镜在体内运动的目的；外部磁场检测装置用于对外部磁场进行检测。胶囊空间姿态计算单元用于根据胶囊内镜加速度传感器与磁场传感器获得的加速度与磁场向量根据预设公式计算胶囊内镜的姿态角，胶囊解剖位置识别单元用于利用深度网络模型根据胶囊内镜采集到的消化道图片进行消化道位置的确定。距离计算单元用于根据图片信息计算胶囊内镜镜头距离消化道黏膜的距离。显示单元用于在显示器上对胶囊内镜的位姿信息进行显示，以达到胶囊内镜在体内定位的目的，为操作者实现进一步的检查规划路线具有很好的指导意义。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种胶囊内镜定位***，其特征在于，包括：
获取模块，用于：获取胶囊内镜采集的消化道图片、该消化道图片的图片亮度及采集该消化道图片时所述胶囊内镜中实现图片采集的镜头的镜头参数；
定位模块，用于：将所述消化道图片输入至预先训练的深度网络模型中，得到所述深度网络模型输出的与所述消化道图片对应的消化道位置；并基于预先确定的对应关系确定出与所述图片亮度及所述镜头参数对应的采集所述消化道图片时所述镜头距离消化道黏膜之间的距离；其中，所述镜头参数包括镜头的增益及曝光时间，预先确定对应关系包括：模拟体内环境，在所述胶囊内镜的镜头有效拍摄距离内，定步长改变所述体内环境内的被摄物与所述胶囊内镜之间的距离，并在所述被摄物与所述胶囊内镜距离一定的情况下，调整所述胶囊内镜的镜头的增益和曝光时间及计算所述胶囊内镜采集到的图片亮度，得到不同成像距离与所述增益、曝光时间和图片亮度之间的对应关系，所述成像距离为所述胶囊内镜的镜头与所述被摄物之间的距离；
输出模块，用于：将所述胶囊内镜采集所述消化道图片时的位姿信息输出，该位姿信息包括所述消化道图片对应消化道位置及所述镜头距离消化道黏膜之间的距离；
所述输出模块包括：
显示单元，用于：将预先绘制的模拟胶囊内镜的位姿设置成、与所述胶囊内镜采集所述消化道图片时的位姿信息对应的位姿，并对该模拟胶囊内镜进行显示；其中，所述显示单元包括触控屏，且工作人员可以通过所述触控屏实现对所述模拟胶囊内镜的大小及角度的控制；
所述***还包括：
模型训练模块，用于：获取训练集和测试集，所述训练集及所述测试集中包含消化道图片及表示每个所述消化道图片对应消化道位置的标记；选取基于深度学习框架的深度网络模型作为当前深度网络模型，利用所述训练集对深度网络模型进行训练，利用所述测试集测试训练后的深度网络模型得到深度网络模型的识别精度数据，判断该识别精度数据是否符合预设精度要求，若是，则确定训练后的深度网络模型为完成训练的深度网络模型，若否，则确定对训练后的深度网络模型进行调整后得到的深度网络模型为深度网络模型，返回执行所述利用所述训练集对深度网络模型进行训练的步骤；
所述模型训练模块包括：
第一训练单元，用于：将所述训练集中包含的消化道图片组合成多个子训练集，其中每个子训练集包含的消化道图片不完全相同；利用所述多个子训练集分别训练深度网络模型得到对应的多个深度网络模型，并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度数据，选取对应识别精度数据表明识别精度最高的深度网络模型为利用所述训练集对深度网络模型进行训练后的深度网络模型；
所述***还包括：
判别模块，用于：将所述胶囊内镜采集所述消化道图片时的位姿信息输出之前，判断所述消化道位置是否为未知类，如果是，则将距离时刻最近一次输出的位姿信息进行输出，如果否，则指示所述输出模块执行所述将所述胶囊内镜采集所述消化道图片时的位姿信息输出的步骤。
2.根据权利要求1所述的***，其特征在于，还包括：
姿态计算模块，用于：检测所述胶囊内镜采集所述消化道图片时的加速度；判断所述胶囊内镜所处消化道位置的外部预设磁场是否满足预设条件，如果是，则检测所述胶囊内镜所处消化道位置的磁感应强度，并将该磁感应强度和所述加速度同时代入预设公式中计算所述胶囊内镜的姿态角；如果否，则检测所述胶囊内镜绕自身预设三轴转动的角速度，并将各所述角速度分别进行积分计算所述胶囊内镜的姿态角；将所述胶囊内镜的姿态角加入至所述位姿信息中。
3.根据权利要求2所述的***，其特征在于，所述姿态计算模块包括：
第一计算单元，用于：通过公式
Figure FDA0002513012150000021
计算所述胶囊内镜的俯仰角pitch；
通过公式
Figure FDA0002513012150000022
计算所述胶囊内镜的横滚角roll；
通过公式
yaw＝ξ+θ
计算所述胶囊内镜的偏航角yaw；且
Figure FDA0002513012150000031
其中，ξ表示当外部预设磁场满足预设条件时在水平方向上的偏转角度；θ为
Figure FDA0002513012150000032
与
Figure FDA0002513012150000033
在水平方向上的夹角；
Figure FDA0002513012150000034
为所述胶囊内镜的x轴基向量，设
Figure FDA0002513012150000035
Figure FDA0002513012150000036
为所述胶囊内镜的y轴基向量，设
Figure FDA0002513012150000037
Figure FDA0002513012150000038
为所述胶囊内镜的z轴基向量，设
Figure FDA0002513012150000039
Figure FDA00025130121500000310
为所述胶囊内镜采集所述消化道图片时的加速度，设
Figure FDA00025130121500000311
Figure FDA00025130121500000312
为所述胶囊内镜所处消化道位置的磁感应强度，设
Figure FDA00025130121500000313
Figure FDA00025130121500000314
为
Figure FDA00025130121500000315
在所述胶囊内镜的x-y平面上的投影，设
Figure FDA00025130121500000316
且
Figure FDA00025130121500000317
当
Figure FDA00025130121500000318
且A∈R，A＞0时，roll＝|roll|，当
Figure FDA00025130121500000319
且A∈R，A≤0时，roll＝-|roll|；当
Figure FDA00025130121500000320
且A∈R，A＞0时，θ＝|θ|，当
Figure FDA00025130121500000321
且A∈R，A≤0时，θ＝-|θ|。
4.根据权利要求3所述的***，其特征在于，所述姿态计算模块包括：
第二计算单元，用于：通过公式
Figure FDA00025130121500000322
计算t时刻所述胶囊内镜绕自身预设x轴转动的角度；
通过公式
Figure FDA00025130121500000323
计算t时刻所述胶囊内镜绕自身预设y轴转动的角度；
通过公式
Figure FDA00025130121500000324
计算t时刻所述胶囊内镜绕自身预设z轴转动的角度；
则所述胶囊内镜的姿态角可通过旋转矩阵表示为：
Figure FDA00025130121500000325
其中，α0、β0和γ0分别为积分常数项中所述胶囊内镜绕自身预设x轴的初始转动角度、所述胶囊内镜绕自身预设y轴的初始转动角度和所述胶囊内镜绕自身预设z轴的初始转动角度；ωx、ωy和ωz分别为所述胶囊内镜绕自身预设三轴转动的角速度，所述积分常数项为将外部预设磁场在从满足预设条件转变为不满足预设条件的瞬时时刻所计算的所述胶囊内镜的姿态角。
5.根据权利要求1所述的***，其特征在于，还包括：
预处理模块，用于：获取所述训练集及所述测试集之后，确定所述训练集及所述测试集中对应消化道位置为未知的消化道图片为未知类图片，并利用感知哈希算法排除所述未知类图片中相似度大于预设阈值的图片；对所述训练集及所述测试集中包含的消化道图片进行预设角度旋转处理和图像增强处理。
6.根据权利要求1所述的***，其特征在于，所述模型训练模块包括：
第二训练单元，用于：利用所述测试集测试深度网络模型，并基于测试所得结果按照下列公式计算该深度网络模型的识别精度数据中包括的识别正确率及阳性预测率：
识别正确率＝测试集中自动识别出的正确的某消化道位置的消化道图片的数量/测试集中对应消化道位置的消化道图片的总数量*100％；
阳性预测率＝测试集中自动识别出的正确的某消化道位置的消化道图片的数量/测试集中自动识别出的对应消化道位置的消化道图片的总数量*100％。
CN201810210665.3A 2018-03-14 2018-03-14 一种胶囊内镜定位*** Active CN108354578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810210665.3A CN108354578B (zh) 2018-03-14 2018-03-14 一种胶囊内镜定位***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810210665.3A CN108354578B (zh) 2018-03-14 2018-03-14 一种胶囊内镜定位***

Publications (2)

Publication Number Publication Date
CN108354578A CN108354578A (zh) 2018-08-03
CN108354578B true CN108354578B (zh) 2020-10-30

Family

ID=63000276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810210665.3A Active CN108354578B (zh) 2018-03-14 2018-03-14 一种胶囊内镜定位***

Country Status (1)

Country Link
CN (1) CN108354578B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109464115A (zh) * 2018-12-17 2019-03-15 深圳开立生物医疗科技股份有限公司 一种内窥镜***与一种ai诊断设备
CN110236474B (zh) 2019-06-04 2020-10-27 北京理工大学 一种主动式磁控胶囊机器人检测***及检测方法
CN110613454B (zh) * 2019-10-09 2022-07-26 北京华亘安邦科技有限公司 一种胶囊内镜的位置寻找方法及***
CN110897596A (zh) * 2019-12-05 2020-03-24 重庆金山医疗技术研究院有限公司 自动调节胶囊拍摄速率的方法、内窥镜、记录仪及***
CN111493805A (zh) * 2020-04-23 2020-08-07 重庆金山医疗技术研究院有限公司 一种状态检测装置、方法、***及可读存储介质
CN112200250A (zh) * 2020-10-14 2021-01-08 重庆金山医疗器械有限公司 一种胶囊内窥镜图像的消化道分段识别方法、装置和设备
CN113743287B (zh) * 2021-08-31 2024-03-26 之江实验室 基于脉冲神经网络的机器人自适应抓取控制方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2441374B1 (en) * 2009-06-10 2016-11-16 Olympus Corporation Capsule endoscope device
EP2850992A4 (en) * 2012-05-14 2016-02-17 Olympus Corp CAPSULE THERAPY DEVICE AND THERAPY SYSTEM
CN106097335B (zh) * 2016-06-08 2019-01-25 安翰光电技术（武汉）有限公司 消化道病灶图像识别***及识别方法
CN106934799B (zh) * 2017-02-24 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像辅助阅片***及方法
CN107374566B (zh) * 2017-07-13 2019-06-14 重庆金山医疗器械有限公司 一种基于变化磁场的胶囊内窥镜全姿态测定***
CN107437100A (zh) * 2017-08-08 2017-12-05 重庆邮电大学 一种基于跨模态关联学习的图像位置预测方法

Also Published As

Publication number Publication date
CN108354578A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN108354578B (zh) 一种胶囊内镜定位***
US8371693B2 (en) Autism diagnosis support apparatus
CN102149325B (zh) 视线方向判定装置及视线方向判定方法
US20200345288A1 (en) A 3-dimensional measurement method for eye movement and fully automated deep-learning based system for vertigo diagnosis
US9521944B2 (en) Endoscope system for displaying an organ model image to which an endoscope image is pasted
KR101978548B1 (ko) 안구 움직임 측정을 통한 어지럼 진단 서버, 방법, 및 이를 기록한 기록매체
KR102043672B1 (ko) 딥러닝 기반의 병변 판독 시스템 및 방법
CN107561462A (zh) 基于变化磁场的胶囊全姿态测定***及空间磁场检测装置
KR100982171B1 (ko) 안면 영상 촬영장치
CN107374566B (zh) 一种基于变化磁场的胶囊内窥镜全姿态测定***
KR20230150934A (ko) 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
CN114637871A (zh) 消化道数据库的建立方法、装置及存储介质
JP2022128414A (ja) 深層学習に基づく気管挿管位置決め方法、装置及び記憶媒体
US20190388057A1 (en) System and method to guide the positioning of a physiological sensor
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
CN116704401A (zh) 操作类考试的评分校验方法、装置、电子设备及存储介质
WO2020121500A1 (ja) 推定方法、推定プログラムおよび推定装置
JP7450239B2 (ja) 脳卒中検査システム、脳卒中検査方法、及び、プログラム
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
CN113326729B (zh) 多模态的课堂专注度检测方法和装置
JP2023166176A (ja) 表示制御装置および方法並びにプログラム
CN114220149A (zh) 一种头部姿势真值的获取方法、装置、设备及存储介质
US20240122444A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
JP7297334B2 (ja) 実時間生体イメージ認識方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210927

Address after: 401120 1-1, 2-1, 3-1, building 5, No. 18, Cuiping Lane 2, Huixing street, Yubei District, Chongqing

Patentee after: Chongqing Jinshan Medical Technology Research Institute Co.,Ltd.

Address before: 401120 1 office buildings, Jinshan International Industrial City, 18 of Nei sang Road, Hui Xing street, Yubei District, Chongqing.

Patentee before: CHONGQING JINSHAN MEDICAL APPLIANCE Co.,Ltd.

TR01 Transfer of patent right