CN115578385B - 肠镜下病灶信息获取方法、装置、电子设备及存储介质 - Google Patents

肠镜下病灶信息获取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115578385B
CN115578385B CN202211529407.4A CN202211529407A CN115578385B CN 115578385 B CN115578385 B CN 115578385B CN 202211529407 A CN202211529407 A CN 202211529407A CN 115578385 B CN115578385 B CN 115578385B
Authority
CN
China
Prior art keywords
data
feature
blood vessel
focus
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211529407.4A
Other languages
English (en)
Other versions
CN115578385A (zh
Inventor
田攀
胡珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202211529407.4A priority Critical patent/CN115578385B/zh
Publication of CN115578385A publication Critical patent/CN115578385A/zh
Application granted granted Critical
Publication of CN115578385B publication Critical patent/CN115578385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种肠镜下病灶信息获取方法、装置、电子设备及存储介质。该方法通过处理病灶图像，得到各特征的平均深度数据、测量病理数据以及血管特征的血管分级数据，然后根据各特征的平均深度数据和测量病理数据、以及获取的摄像头参数，分别得到各特征的真实病理数据，最后根据获取的程度匹配条件、各特征的真实病理数据和血管特征的血管分级数据、以及各特征的预设权重，得到该病灶图像的病灶信息。该方法通过结合各特征的量化数据、程度匹配条件和预设权重得到病灶图像的病灶信息，提高了病灶信息获取的准确性。

Description

肠镜下病灶信息获取方法、装置、电子设备及存储介质
技术领域
本申请涉及医疗辅助技术领域，尤其涉及一种肠镜下病灶信息获取方法、装置、电子设备及存储介质。
背景技术
目前，通过人工观察肠镜下的病灶，从而判断得到病灶信息（例如溃疡性结肠炎严重度）的方式存在高度的主观性，且对于相同病灶的病灶信息，其一致性也很难保证。为了避免人工判断的缺陷，通常采用分类网络对病灶信息进行分类判断，然而，这种方式只是根据病灶图像的整体，简单地对病灶信息进行了划分，没有具体的量化指标，对于类别相近的病灶，分类网络容易存在误判，导致获取的病灶信息准确性较低。
因此，当前方法存在量化指标缺失、获取的病灶信息准确性较低的技术问题，需要改进。
发明内容
本申请提供一种肠镜下病灶信息获取方法、装置、电子设备及存储介质，用于缓解当前方法中存在的程度判断方式较为笼统、细致化程度较低，导致获取的病灶信息准确性较低的技术问题。
为了解决上述技术问题，本申请提供以下技术方案：
本申请提供一种肠镜下病灶信息获取方法，包括：
获取病灶图像和摄像头参数，所述病灶图像包括出血特征、溃疡特征和血管特征；
调用训练后的深度估计模型处理所述病灶图像，得到病灶深度图；根据所述病灶深度图，得到所述出血特征的第一平均深度数据、所述溃疡特征的第二平均深度数据以及所述血管特征的第三平均深度数据；
根据所述病灶图像得到所述出血特征的第一测量病理数据、所述溃疡特征的第二测量病理数据以及所述血管特征的第三测量病理数据；根据所述病灶图像、所述第一测量病理数据、所述第一平均深度数据和所述摄像头参数，得到所述出血特征的第一真实病理数据；根据所述病灶图像、所述第二测量病理数据、所述第二平均深度数据和所述摄像头参数，得到所述溃疡特征的第二真实病理数据；根据所述病灶图像、所述第三测量病理数据、所述第三平均深度数据和所述摄像头参数，得到所述血管特征的第三真实病理数据；
根据所述病灶图像和训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据；
获取各特征的程度匹配条件，根据所述第一真实病理数据、所述第二真实病理数据、所述第三真实病理数据、所述血管分级数据以及所述程度匹配条件，得到各特征的程度数据；根据各特征的程度数据和各特征的预设权重，得到所述病灶图像的病灶信息。
相应的，本申请还提供一种肠镜下病灶信息获取装置，包括：
第一获取模块，用于获取病灶图像和摄像头参数，所述病灶图像包括出血特征、溃疡特征和血管特征；
深度数据确定模块，用于调用训练后的深度估计模型处理所述病灶图像，得到病灶深度图；根据所述病灶深度图，得到所述出血特征的第一平均深度数据、所述溃疡特征的第二平均深度数据以及所述血管特征的第三平均深度数据；
真实病理数据确定模块，用于根据所述病灶图像得到所述出血特征的第一测量病理数据、所述溃疡特征的第二测量病理数据以及所述血管特征的第三测量病理数据；根据所述病灶图像、所述第一测量病理数据、所述第一平均深度数据和所述摄像头参数，得到所述出血特征的第一真实病理数据；根据所述病灶图像、所述第二测量病理数据、所述第二平均深度数据和所述摄像头参数，得到所述溃疡特征的第二真实病理数据；根据所述病灶图像、所述第三测量病理数据、所述第三平均深度数据和所述摄像头参数，得到所述血管特征的第三真实病理数据；
血管分级数据确定模块，用于根据所述病灶图像和训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据；
病灶信息确定模块，用于获取各特征的程度匹配条件，根据所述第一真实病理数据、所述第二真实病理数据、所述第三真实病理数据、所述血管分级数据以及所述程度匹配条件，得到各特征的程度数据；根据各特征的程度数据和各特征的预设权重，得到所述病灶图像的病灶信息。
同时，本申请提供一种电子设备，其包括处理器和存储器，存储器用于存储计算机程序，处理器用于运行所述存储器里的计算机程序，以执行上述肠镜下病灶信息获取方法中的步骤。
此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述肠镜下病灶信息获取方法中的步骤。
有益效果：本申请提供一种肠镜下病灶信息获取方法、装置、电子设备及存储介质。具体地，该方法先获取病灶图像和摄像头参数，该病灶图像包括出血特征、溃疡特征和血管特征，然后调用训练后的深度估计模型处理该病灶图像，得到病灶深度图，并根据病灶深度图，得到出血特征的第一平均深度数据、溃疡特征的第二平均深度数据以及血管特征的第三平均深度数据；接着根据病灶图像得到出血特征的第一测量病理数据、溃疡特征的第二测量病理数据，以及血管特征的第三测量病理数据；再根据病灶图像、第一测量病理数据、第一平均深度数据和摄像头参数，得到出血特征的第一真实病理数据，根据病灶图像、第二测量病理数据、第二平均深度数据和摄像头参数，得到溃疡特征的第二真实病理数据，根据病灶图像、第三测量病理数据、第三平均深度数据和摄像头参数，得到血管特征的第三真实病理数据，同时，还根据病灶图像和训练后的稀疏血管分级模型，得到血管特征的血管分级数据；最后，根据第一真实病理数据、第二真实病理数据、第三真实病理数据、血管分级数据以及获取的各特征的程度匹配条件，得到各特征的程度数据，并根据各特征的程度数据和各特征的预设权重，得到病灶图像的病灶信息。相较于当前技术中较为笼统的分类判断，该方法仔细分析并运用不同的方式处理了病灶图像中的各病灶特征，从而得到各特征的量化数据，包括出血特征的第一真实病理数据、溃疡特征的第二真实病理数据、血管特征的第三真实病理数据和血管分级数据，并结合获取的各特征的程度匹配条件，确定各特征的程度数据，最后结合各特征的预设权重得到病灶图像的病灶信息，实现了病灶信息获取过程中采用量化指标进行程度判断的目的，提高了病灶信息获取的准确性。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的肠镜下病灶信息获取方法的流程示意图。
图2是本申请实施例提供的病灶图像的示意图。
图3a是本申请实施例提供的肠体模型的示意图。
图3b是本申请实施例提供的真实内壁图像。
图3c是本申请实施例提供的渲染后的肠体模型内壁图像。
图4a是本申请实施例提供的出血特征图像。
图4b是本申请实施例提供的溃疡特征图像。
图4c是本申请实施例提供的血管特征图像。
图5a是本申请实施例提供的出血特征对应的训练病灶深度图。
图5b是本申请实施例提供的溃疡特征对应的训练病灶深度图。
图5c是本申请实施例提供的血管特征对应的训练病灶深度图。
图6a是本申请实施例提供的出血特征图像对应的分割图像。
图6b是本申请实施例提供的溃疡特征图像对应的分割图像。
图6c是本申请实施例提供的血管特征图像对应的分割图像。
图7是本申请实施例提供的出血特征的第一外接矩形的示意图。
图8a至图8c是本申请实施例提供的血管的示意图。
图9是本申请实施例提供的肠镜下病灶信息获取装置的结构示意图。
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含；本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个***中，或一些特征可以忽略，或不执行。
本申请提供一种肠镜下病灶信息获取方法、装置、电子设备及存储介质，其中，该肠镜下病灶信息获取装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
请参阅图1，图1是本申请实施例提供的肠镜下病灶信息获取方法的流程示意图。该方法至少包括以下步骤：
S101：获取病灶图像和摄像头参数，病灶图像包括出血特征、溃疡特征和血管特征。
通过对实时的内镜视频连续解帧，得到病灶图像。病灶图像指的是医学上通过内镜拍摄到的包含病灶的图像，其中，病灶指的是机体上发生病变的部分。例如，在本申请实施例中，病灶图像可以是肠镜下肠体发炎/溃疡的部分的图像，如图2所示，图2为本申请实施例提供的病灶图像的一种示意图，利用卷积神经网络对该病灶图像进行特征提取，即能得到该病灶图像中的出血特征、溃疡特征和血管特征等病灶特征。其中，出血特征指的是该病灶图像中病灶的出血情况；溃疡特征指的是该病灶图像中病灶的溃疡情况；血管特征指的是该病灶图像中血管的好坏程度。
在本申请实施例中，摄像头参数指的由摄像机内部结构决定的、不随环境改变的参数，包括镜头焦距F（单位：毫米）和传感器孔径Sw、Sh（单位：毫米）。其中，镜头焦距是由摄像头的光学透镜决定的；传感器孔径指的是成像传感器的通光孔径，Sw为横向通光孔径，Sh为纵向通光孔径。
S102：调用训练后的深度估计模型处理病灶图像，得到病灶深度图；根据病灶深度图，得到出血特征的第一平均深度数据、溃疡特征的第二平均深度数据以及血管特征的第三平均深度数据。
在一种实施例中，在S102之前还包括：基于真实肠体和真实病灶建模，得到肠体病灶组合模型；在肠体病灶组合模型内部进行模拟拍摄，得到多个训练病灶图像和多个训练病灶深度图；基于各训练病灶图像和对应的训练病灶深度图对深度估计模型进行训练。
真实肠体可以是结肠、直肠等各类真实存在于人体内部的肠体，肠体内部形成肠腔；真实病灶可以是肠体发炎/溃疡等各类真实存在于真实肠体内壁的病灶；肠体病灶组合模型指的是以真实肠体和真实病灶为依据，在建模软件中生成的与真实肠体、真实病灶环境相同的模型，建模软件可以是blender软件。
具体的，肠体病灶组合模型的建立过程包括：根据真实肠体的第一建模信息，生成与真实肠体环境相同的肠体模型，根据真实病灶的第二建模信息，在肠体模型的内壁生成病灶模型；基于肠体模型和病灶模型，得到肠体病灶组合模型。
第一建模信息是指以真实肠体为依据为建模所需的形状、尺寸等提供参考的信息，其反映了真实肠体的环境信息，环境信息包括肠体本身的结构和肠体内部的环境，则基于第一建模信息可以在建模软件中生成与真实肠体环境相同的肠体模型，建模软件可以是blender软件，肠体模型为3D模型，具体结构如图3a所示。同时，由于建模后肠体模型的内壁是没有纹理的，而真实肠体内壁具有各种颜色、褶皱等，为使得肠体模型与真实肠体的环境相同，还需要对真实肠体的内壁进行图像采集，得到如图3b所示的真实内壁图像，并以此作为内壁环境的建模参考，通过真实内壁图像对肠体模型的内壁进行渲染，得到如图3c所示的渲染后的肠体模型内壁图像，至此，即完成了肠体模型的建立。第二建模信息是指以真实病灶为依据为建模所需的形状、尺寸等提供参考的信息，则基于第二建模信息可以在建模软件中肠体模型的内壁上生成病灶模型。最后，将肠体模型和病灶模型进行融合处理，即得到了肠体病灶组合模型。由于肠体内部不适合直接采集深度图数据，为了获取更加准确的肠体内部病灶的深度数据，通过建立与真实肠体和真实病灶环境相同的肠体病灶组合模型，然后对建立的肠体病灶组合模型内部进行模拟拍摄，即能得到病灶的深度数据，从而对深度估计模型进行训练。
深度估计模型是用来预测图像中各位置点深度的模型，即输入一张RGB图像，可以对图像中各位置点的深度进行估计，输出一张深度图。在上述步骤中，通过在肠体病灶组合模型内部进行模拟拍摄，得到了多个如图4a至图4c所示的训练病灶图像，其中，图4a为本申请实施例提供的出血特征图像，图4b为本申请实施例提供的溃疡特征图像，图4c为本申请实施例提供的血管特征图像；每个训练病灶图像均有对应的如图5a至图5c中所示的训练病灶深度图，其中，图5a是本申请实施例提供的出血特征对应的训练病灶深度图，图5b是本申请实施例提供的溃疡特征对应的训练病灶深度图，图5c是本申请实施例提供的血管特征对应的训练病灶深度图。则每个训练病灶图像和对应的训练病灶深度图可分别作为训练输入数据和训练输出数据，所有的训练病灶图像和对应的训练病灶深度图形成训练数据集，基于该训练数据集和DenseDepth网络对深度估计模型进行训练，直至深度估计模型对深度的估计正确率达到预期为止，至此完成了深度估计模型的训练。
通过调用训练后的深度估计模型对病灶图像进行处理，即将包括各特征的病灶图像作为训练后的深度估计模型的输入，其输出为各特征对应的病灶深度图，其中，病灶深度图指的是包含病灶深度信息的图像，深度信息代表着由病灶投射而来病灶图像中每个像素点与相机的实际距离。因此，利用训练后的深度估计模型预测各特征区域所有深度，并取该区域所有深度的平均值作为最终的深度，即能得到病灶图像中出血特征的第一平均深度数据d1、溃疡特征的第二平均深度数据d2以及血管特征的第三平均深度数据d3。
S103：根据病灶图像得到出血特征的第一测量病理数据、溃疡特征的第二测量病理数据以及血管特征的第三测量病理数据；根据病灶图像、第一测量病理数据、第一平均深度数据和摄像头参数，得到出血特征的第一真实病理数据；根据病灶图像、第二测量病理数据、第二平均深度数据和摄像头参数，得到溃疡特征的第二真实病理数据；根据病灶图像、第三测量病理数据、第三平均深度数据和摄像头参数，得到血管特征的第三真实病理数据。
其中，测量病理数据包括各特征区域的像素个数，还可以包括各特征区域最小外接矩形的图像面积，外接矩形指的是能完整覆盖病灶图像中各特征外轮廓的最小矩形；真实病理数据指的是在真实肠体中各特征区域的面积。
在一种实施例中，根据病灶图像得到出血特征的第一测量病理数据、溃疡特征的第二测量病理数据以及血管特征的第三测量病理数据的步骤包括：分别调用出血特征分割网络、溃疡特征分割网络以及血管特征分割网络；将病灶图像输入出血特征分割网络，得到出血特征区域；根据出血特征区域，确定出血特征的第一测量病理数据；将病灶图像输入溃疡特征分割网络，得到溃疡特征区域；根据溃疡特征区域，确定溃疡特征的第二测量病理数据；将病灶图像输入血管特征分割网络，得到血管特征区域；根据血管特征区域，确定血管特征的第三测量病理数据。
如图4a至图4c所示，图4a至图4c为本申请实施例提供的各特征的病灶图像。利用上述各特征的分割网络对病灶图像进行分割处理，例如将如图4a所示的出血特征图像输入出血特征对应的分割网络，得到如图6a所示的出血特征的分割图像，又例如将如图4b所示的溃疡特征图像输入溃疡特征对应的分割网络，得到如图6b所示的溃疡特征的分割图像，还例如将如图4c所示的血管特征图像输入血管特征对应的分割网络，得到如图6c所示的血管特征的分割图像；根据该分割图像，即能确定各特征的测量病理数据，例如确定各特征区域的像素个数，出血特征区域的像素个数记作C1，溃疡特征区域的像素个数记作C2，血管特征区域的像素个数记作C3；又例如，如图7所示，图7为本申请实施例提供的出血特征的第一外接矩形的示意图，利用出血分割网络对病灶图像进行处理，即将病灶图像输入出血分割网络，得到如图7所示的沿出血特征的边界进行分割的出血区域外轮廓，根据该出血区域外轮廓，即能确定该出血特征的外接矩形，对该外接矩形进行测量，即能得到出血特征的图像面积Simage1=Wimage1*Himage1，其中，Wimage1为出血特征外接矩形的宽、Himage1为出血特征外接矩形的高，同理，能得到溃疡特征的图像面积Simage2=Wimage2*Himage2，血管特征的图像面积Simage3=Wimage3*Himage。
在一种实施例中，出血特征分割网络包括通过出血特征训练蒸馏得到的蒸馏后的学生语义分割网络、溃疡特征分割网络包括通过溃疡特征训练蒸馏得到的蒸馏后的学生语义分割网络、血管特征分割网络包括通过血管特征训练蒸馏得到的蒸馏后的学生语义分割网络，在分别调用出血特征分割网络、溃疡特征分割网络以及血管特征分割网络的步骤之前，还包括：获取分别基于出血特征、溃疡特征以及血管特征训练得到的训练后的教师语义分割网络和训练后的学生语义分割网络；其中，训练后的教师语义分割网络的主干网络包括稠密图像分类网络，训练后的学生语义分割网络的主干网络包括轻量化图像分类网络；基于训练后的教师语义分割网络对训练后的学生语义分割网络进行知识蒸馏处理，得到蒸馏后的学生语义分割网络；将基于出血特征训练蒸馏得到的蒸馏后的学生语义分割网络作为出血特征分割网络，将基于溃疡特征训练蒸馏得到的蒸馏后的学生语义分割网络作为溃疡特征分割网络，将基于血管特征训练蒸馏得到的蒸馏后的学生语义分割网络作为血管特征分割网络。
其中，教师语义分割网络和学生语义分割网络都是基于原始的DeepLabv3+语义分割网络得到的；将原始的DeepLabv3+语义分割网络中的主干网络（Backbone）由Xception换成Densenet201，并将替换后的DeepLabv3+语义分割网络作为教师语义分割网络；将原始的DeepLabv3+语义分割网络中的主干网络（Backbone）由Xception换成Mobilenetv3（轻量化网络），并将替换后的DeepLabv3+语义分割网络作为学生语义分割网络。
以训练蒸馏得到出血分割网络为例，通过训练病灶图像和对应的出血区域分割图像对上述教师语义分割网络进行训练，得到训练后的教师语义分割网络；通过训练病灶图像和对应的出血区域分割图像对上述学生语义分割网络进行训练，得到训练后的学生语义分割网络，然后采用知识蒸馏，让教师语义分割网络对学生语义分割网络进行蒸馏，从而让学生语义分割网络学习到教师语义分割网络的“知识”，即得到了蒸馏后的学生语义分割网络。其中，训练后的教师语义分割网络即作为知识蒸馏中的原始模型，训练后的学生语义分割网络即作为知识蒸馏中的新模型；知识蒸馏过程即对模型的能力进行迁移，将复杂且大的模型作为Teacher（即训练后的教师语义分割网络），将结构较为简单的模型作为Student（即训练后的学生语义分割网络），通过训练后的教师语义分割网络学习到的知识去指导训练后的学生语义分割网络进行再次训练，使得训练后的学生语义分割网络具有与训练后的教师语义分割网络相当的性能，但是参数数量大大降低，从而实现模型压缩与加速。蒸馏后的学生语义分割网络，不仅具有训练后的教师语义分割网络的分割精度，其还具有轻量化的特点，因此，利用蒸馏后的学生语义分割网络对病灶图像进行处理，可以提高病灶图像中出血特征的分割精度，还减少了计算量。
可选的，上述出血特征分割网络、溃疡特征分割网络以及血管特征分割网络还可以通过训练病灶图像和对应的特征区域分割图像对实时语义分割网络进行训练得到，得到训练后的实时语义分割网络。其中，实时语义分割网络具有特征图细节较为完善、网络结构轻量化、高级语义特征的支路较深、计算量较小等优点，其可以包括轻量级分割网络BiSeNet。因此，通过训练后的实时语义分割网络对病灶图像中的溃疡特征进行分割，不仅提高了分割精度，还减小了计算量，提高了分割效率。
在一种实施例中，测量病理数据包括各特征区域的像素个数，计算各特征的真实病理数据的步骤包括：获取病灶图像的图像尺寸信息；根据摄像头参数和图像尺寸信息，确定像素焦距；根据摄像头内参矩阵、摄像头参数以及像素焦距，确定单位像素的图像面积；根据单位像素的图像面积、第一平均深度数据以及摄像头参数，确定出血特征中单位像素对应的真实面积；根据出血特征中单位像素对应的真实面积和第一测量病理数据，得到出血特征的第一真实病理数据；根据单位像素的图像面积、第二平均深度数据以及摄像头参数，确定溃疡特征中单位像素对应的真实面积；根据溃疡特征中单位像素对应的真实面积和第二测量病理数据，得到溃疡特征的第二真实病理数据；根据单位像素的图像面积、第三平均深度数据以及摄像头参数，确定血管特征中单位像素对应的真实面积；根据血管特征中单位像素对应的真实面积和第三测量病理数据，得到血管特征的第三真实病理数据。其中，病灶图像的图像尺寸信息指的是通过摄像头拍摄得到的如图2所示的图片的宽width和高height；摄像头参数包括镜头焦距F（单位：毫米）和传感器孔径Sw、Sh（单位：毫米）；像素焦距指的是以像素形式表示的焦距，其包括横向像素焦距fx和纵向像素焦距fy。
具体的，像素焦距、镜头焦距F、传感器孔径以及图像尺寸之间的换算关系如公式1和公式2，在已知镜头焦距F、传感器孔径以及图像尺寸的前提下，根据公式1和公式2，可以分别计算得到横向像素焦距fx和纵向像素焦距fy。
Figure 447628DEST_PATH_IMAGE001
（公式1）。
Figure 560815DEST_PATH_IMAGE002
（公式2）。
这种通过镜头焦距F、传感器孔径以及图像尺寸计算得到像素焦距的方式比直接通过拍摄棋盘图片提取像素焦距的方式更为准确。
由摄像机内参矩阵可知像素焦距、镜头焦距以及像素尺寸之间的换算关系如公式3和公式4：
Figure 733170DEST_PATH_IMAGE003
（公式3）。
Figure 153787DEST_PATH_IMAGE004
（公式4）。
因此，根据摄像头内参矩阵、摄像头参数以及所述像素焦距，可以确定单位像素的图像面积的计算如公式5：
Figure 423095DEST_PATH_IMAGE005
（公式5）
将单位像素的图像面积、各特征的平均深度数据以及摄像头参数中的镜头焦距F分别代入公式6至公式8，即可确定出血特征中单位像素对应的真实面积St1、溃疡特征中单位像素对应的真实面积St2、血管特征中单位像素对应的真实面积St3：
Figure 270965DEST_PATH_IMAGE006
（公式6）。
Figure 868300DEST_PATH_IMAGE007
（公式7）。
Figure 92607DEST_PATH_IMAGE008
（公式8）。
最后，将各特征中单位像素对应的真实面积和各特征区域中的像素个数（也即特征的测量病理数据）分别代入公式9至公式11，即能得到出血特征的第一真实病理数据Sreal1、溃疡特征的第二真实病理数据Sreal2以及血管特征的第三真实病理数据Sreal3：
Figure 888525DEST_PATH_IMAGE009
（公式9）。
Figure 969614DEST_PATH_IMAGE010
（公式10）。
Figure 116561DEST_PATH_IMAGE011
（公式11）。
在另一种可能的实施例中，测量病理数据还可以包括各特征区域的外接矩形的图像面积，计算各特征的真实病理数据的步骤包括：获取病灶图像的图像尺寸信息；根据摄像头参数和图像尺寸信息，确定像素焦距；根据第一测量病理数据、第一平均深度数据和像素焦距，得到出血特征的第一真实病理数据；根据第二测量病理数据、第二平均深度数据和像素焦距，得到出血特征的第二真实病理数据；根据第三测量病理数据、第三平均深度数据和像素焦距，得到出血特征的第三真实病理数据。
像素焦距的计算已在前文中进行了详细的描述，在此不再赘述。
测量病理数据仅能反映各特征在病灶图像中的面积，医生诊断时最终需要获取的是各特征的真实尺寸，因此，还需要对各特征的测量病理数据进行换算。根据摄像头的成像原理，可以得到各特征的真实病理数据、测量病理数据、像素焦距以及平均深度数据之间存在一定的换算关系，根据这种换算关系，分别将各特征的测量病理数据、平均深度数据和像素焦距代入公式12至公式14中，即能得到出血特征的第一真实病理数据Sreal1、溃疡特征的第二真实病理数据Sreal2以及血管特征的第三真实病理数据Sreal3：
Figure 144560DEST_PATH_IMAGE012
（公式12）。
Figure 998247DEST_PATH_IMAGE013
（公式13）。
Figure 922340DEST_PATH_IMAGE014
（公式14）。
需要说明的是，利用计算得到的像素焦距、前述神经网络模型测量得到的病理数据和深度数据计算真实病理数据的方式，提高了真实病理数据获取的准确性。
S104：根据病灶图像和训练后的稀疏血管分级模型，得到血管特征的血管分级数据。
在一种实施例中，对血管特征进行分级的具体步骤包括：获取训练后的血管分级模型和训练后的血管分级模型的分级准确率曲线；其中，分级准确率曲线为根据训练后的血管分级模型的模型预测值和真实值形成的曲线；根据分级准确率曲线，确定稀疏化参数；根据稀疏化参数对训练后的血管分级模型进行稀疏化训练，得到训练后的稀疏血管分级模型；将病灶图像输入训练后的稀疏血管分级模型，得到血管特征的血管分级数据。
其中，训练后的血管分级模型可以是基于Densenet201网络、训练病灶图像和训练病灶图像对应的血管图像训练得到的，如图8a至图8c所示，图8a至图8c是本申请实施例提供的血管的示意图，该血管分级模型可以将血管图像大致分为三级，将如图8a所示的清晰可见的图像中的血管定义为第一级，其对应的分级数据为0；将如图8b所示的部分血管消失、部分血管可见的图像中的血管定义为第二级，其对应的分级数据为1；将如图8c所示的血管完全消失不可见的图像中的血管定义为第三级，其对应的分级数据为2。
具体的，在训练血管分级模型的过程中可以根据模型预测值和真实值生成分级准确率曲线，该分级准确率曲线是一种描述模型预测值和真实值是否一致的标量形式，根据该分级准确率曲线确实模型训练是否存在过拟合现象（过拟合现象指的是模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低的现象），根据过拟合现象确定稀疏化参数，基于稀疏化参数对训练后的血管分级模型进行稀疏化训练，根据稀疏化训练对该血管分级模型进行减枝和微调，从而得到训练后的稀疏血管分级模型，最后，利用训练后的稀疏血管分级模型对病灶图像中的血管进行预测分级，即可得到血管特征的血管分级数据。
S105：获取各特征的程度匹配条件，根据第一真实病理数据、第二真实病理数据、第三真实病理数据、血管分级数据以及程度匹配条件，得到各特征的程度数据；根据各特征的程度数据和各特征的预设权重，得到病灶图像的病灶信息。
其中，程度数据用于描述各特征的严重程度/好坏程度；病灶信息可以是病灶的严重度评分。
对于出血特征，其程度匹配条件为根据出血面积的大小确定出血程度的得分，出血面积越大，表示越严重，具体得分如下：
没有出血，即出血面积等于0，对应的程度数据为0分；出血面积大于0，小于等于S1（例如S1取1cm2），对应的程度数据为1分；出血面积大于S1，小于等于S2（例如S2取5cm2），对应的程度数据为2分；出血面积大于S2，对应的程度数据为3分。
根据前述步骤得到了出血特征的第一真实病理数据，即真实肠体中出血区域的面积，根据出血特征的真实出血面积和出血特征的程度匹配条件，即能得到出血特征的程度数据，记为Score1。
同样的，对于溃疡特征，其程度匹配条件为根据溃疡面积的大小确定溃疡程度的得分，溃疡面积越大，表示越严重，具体得分如下：
没有溃疡，即溃疡面积等于0，对应的程度数据为0分；溃疡面积大于0，小于等于S1（例如S1取1cm2），对应的程度数据为1分；溃疡面积大于S1，小于等于S2（例如S2取5cm2），对应的程度数据为2分；溃疡面积大于S2，对应的程度数据为3分。
根据前述步骤得到了溃疡特征的第二真实病理数据，即真实肠体中溃疡区域的面积，根据溃疡特征的真实溃疡面积和溃疡特征的程度匹配条件，即能得到溃疡特征的程度数据，记为Score2。
同样的，对于血管特征，其程度匹配条件为根据血管面积的大小确定血管好坏程度的得分，血管面积越大，表示血管越好，具体得分如下：
血管面积等于0，对应的程度数据为3分；血管面积大于0，小于等于S1（例如S1取1cm2），对应的程度数据为2分；血管面积大于S1，小于等于S2（例如S2取5cm2），对应的程度数据为1分；血管面积大于S2，对应的程度数据为0分。
根据前述步骤得到了血管特征的第三真实病理数据，即真实肠体中血管区域的面积，根据血管特征的真实血管面积和血管特征的程度匹配条件，即能得到血管特征的程度数据，记为Score3。
对于出血特征、溃疡特征以及血管特征，采用模型预测的方式计算得到了各特征区域的实际面积，并基于程度匹配条件和各特征区域的实际面积进行评分，实现了评分指标的量化，提高了病灶信息获取的准确性。
此外，对于血管特征，其程度匹配条件为根据血管分级数据确定血管清晰程度的得分，分级数据越大，表示血管越不清晰，具体得分如下：
血管分级数据为0，表示病灶图像中血管清晰可见，对应的程度数据为0；血管分级数据为1分，表示病灶图像中部分血管消失、部分血管可见，其对应的程度数据为1分；血管分级数据为2，表示病灶图像中血管完全消失不可见，其对应的程度数据为2分。
根据前述步骤得到了血管特征的血管分级数据，因此，根据该血管分级数据和血管特征的程度匹配条件，即能得到血管特征的程度数据，记为Score4。
根据实际情况，可以预先设置各特征的预设权重，其包括：出血特征的预设权重IW1、溃疡特征的预设权重IW2、血管特征面积的预设权重IW3以及血管特征清晰度的预设权重IW4，根据前述各特征的程度数据和各特征的预设权重，基于公式15即能确定病灶图像的病灶信息total_socre。
Figure 618901DEST_PATH_IMAGE015
（公式15）。
可选的，IW1可以是0.4，IW2可以是0.4，IW3可以是0.2，IW4可以是0.2。
通过上述各实施例可知，相较于当前技术中较为笼统的分类判断，本申请的肠镜下病灶信息获取方法仔细分析并运用不同的方式处理了病灶图像中的各病灶特征，从而得到各特征的量化数据，包括出血特征的第一真实病理数据、溃疡特征的第二真实病理数据、血管特征的第三真实病理数据和血管分级数据，并结合获取的各特征的程度匹配条件，确定各特征的程度数据，最后结合各特征的预设权重得到病灶图像的病灶信息，实现了病灶信息获取过程中采用量化指标进行程度判断的目的，提高了病灶信息获取的准确性。
基于上述实施例的内容，本申请实施例提供了一种肠镜下病灶信息获取装置，具体地，请参阅图9，该装置包括：
第一获取模块701，用于获取病灶图像和摄像头参数，所述病灶图像包括出血特征、溃疡特征和血管特征；
深度数据确定模块702，用于调用训练后的深度估计模型处理所述病灶图像，得到病灶深度图；根据所述病灶深度图，得到所述出血特征的第一平均深度数据、所述溃疡特征的第二平均深度数据以及所述血管特征的第三平均深度数据；
真实病理数据确定模块703，用于根据所述病灶图像得到所述出血特征的第一测量病理数据、所述溃疡特征的第二测量病理数据以及所述血管特征的第三测量病理数据；根据所述病灶图像、所述第一测量病理数据、所述第一平均深度数据和所述摄像头参数，得到所述出血特征的第一真实病理数据；根据病灶图像、所述第二测量病理数据、所述第二平均深度数据和所述摄像头参数，得到所述溃疡特征的第二真实病理数据；根据所述病灶图像、所述第三测量病理数据、所述第三平均深度数据和所述摄像头参数，得到所述血管特征的第三真实病理数据；
血管分级数据确定模块704，用于根据所述病灶图像和训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据；
病灶信息确定模块705，用于获取各特征的程度匹配条件，根据所述第一真实病理数据、所述第二真实病理数据、所述第三真实病理数据、所述血管分级数据以及所述程度匹配条件，得到各特征的程度数据；根据各特征的程度数据和各特征的预设权重，得到所述病灶图像的病灶信息。
在一种实施例中，肠镜下病灶信息获取装置还包括：
模型构建模块，用于基于真实肠体和真实病灶建模，得到肠体病灶组合模型；
模拟拍摄模块，用于在所述肠体病灶组合模型内部进行模拟拍摄，得到多个训练病灶图像和多个训练病灶深度图；
模型训练模块，用于基于各训练病灶图像和对应的训练病灶深度图对深度估计模型进行训练。
在一种实施例中，真实病理数据确定模块703包括：
第一网络调用模块，用于分别调用出血特征分割网络、溃疡特征分割网络以及血管特征分割网络；
第一分割模块，用于将所述病灶图像输入所述出血特征分割网络，得到出血特征区域；根据所述出血特征区域，确定所述出血特征的第一测量病理数据；
第二分割模块，用于将所述病灶图像输入所述溃疡特征分割网络，得到溃疡特征区域；根据所述溃疡特征区域，确定所述溃疡特征的第二测量病理数据；
第三分割模块，用于将所述病灶图像输入所述血管特征分割网络，得到血管特征区域；根据所述血管特征区域，确定所述血管特征的第三测量病理数据。
在一种实施例中，所述出血特征分割网络包括通过出血特征训练蒸馏得到的蒸馏后的学生语义分割网络、所述溃疡特征分割网络包括通过溃疡特征训练蒸馏得到的蒸馏后的学生语义分割网络、所述血管特征分割网络包括通过血管特征训练蒸馏得到的蒸馏后的学生语义分割网络，肠镜下病灶信息获取装置还包括：
第一获取模块，用于获取分别基于出血特征、溃疡特征以及血管特征训练得到的训练后的教师语义分割网络和训练后的学生语义分割网络；其中，所述训练后的教师语义分割网络的主干网络包括稠密图像分类网络，所述训练后的学生语义分割网络的主干网络包括轻量化图像分类网络；
知识蒸馏模块，用于基于所述训练后的教师语义分割网络对所述训练后的学生语义分割网络进行知识蒸馏处理，得到蒸馏后的学生语义分割网络；
网络确定模块，用于将基于所述出血特征训练蒸馏得到的蒸馏后的学生语义分割网络作为出血特征分割网络，将基于所述溃疡特征训练蒸馏得到的蒸馏后的学生语义分割网络作为溃疡特征分割网络，将基于所述血管特征训练蒸馏得到的蒸馏后的学生语义分割网络作为血管特征分割网络。
在一种实施例中，所述测量病理数据包括各特征区域的像素个数，真实病理数据确定模块703还包括：
第一信息获取模块，用于获取所述病灶图像的图像尺寸信息；
第一像素焦距确定模块，用于根据所述摄像头参数和所述图像尺寸信息，确定像素焦距；
图像面积确定模块，用于根据摄像头内参矩阵、所述摄像头参数以及所述像素焦距，确定单位像素的图像面积；
第一数据计算模块，用于根据所述单位像素的图像面积、所述第一平均深度数据以及所述摄像头参数，确定所述出血特征中单位像素对应的真实面积；根据所述出血特征中单位像素对应的真实面积和所述第一测量病理数据，得到所述出血特征的第一真实病理数据；
第二数据计算模块，用于根据所述单位像素的图像面积、所述第二平均深度数据以及所述摄像头参数，确定所述溃疡特征中单位像素对应的真实面积；根据所述溃疡特征中单位像素对应的真实面积和所述第二测量病理数据，得到所述溃疡特征的第二真实病理数据；
第三数据计算模块，用于根据所述单位像素的图像面积、所述第三平均深度数据以及所述摄像头参数，确定所述血管特征中单位像素对应的真实面积；根据所述血管特征中单位像素对应的真实面积和所述第三测量病理数据，得到所述血管特征的第三真实病理数据。
在一种实施例中，所述测量病理数据包括各特征区域的外接矩形的图像面积，真实病理数据确定模块703还包括：
第二信息获取模块，用于获取所述病灶图像的图像尺寸信息；
第二像素焦距确定模块，用于根据所述摄像头参数和所述图像尺寸信息，确定像素焦距；
第四数据计算模块，用于根据所述第一测量病理数据、所述第一平均深度数据和所述像素焦距，得到所述出血特征的第一真实病理数据；
第五数据计算模块，用于根据所述第二测量病理数据、所述第二平均深度数据和所述像素焦距，得到所述出血特征的第二真实病理数据；
第六数据计算模块，用于根据所述第三测量病理数据、所述第三平均深度数据和所述像素焦距，得到所述出血特征的第三真实病理数据。
在一种实施例中，血管分级数据确定模块704包括：
第二获取模块，用于获取训练后的血管分级模型和所述训练后的血管分级模型的分级准确率曲线；其中，所述分级准确率曲线为根据所述训练后的血管分级模型的模型预测值和真实值形成的曲线；
参数确定模块，用于根据所述分级准确率曲线，确定稀疏化参数；
稀疏化模块，用于根据所述稀疏化参数对所述训练后的血管分级模型进行稀疏化训练，得到训练后的稀疏血管分级模型；
血管分级模块，用于将所述病灶图像输入所述训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据。
区别于当前的技术，本申请提供的肠镜下病灶信息获取装置设置了深度数据确定模块、真实病理数据确定模块、血管分级数据确定模块以及病灶信息确定模块，通过深度数据确定模块、真实病理数据确定模块以及血管分级数据确定模块分别处理病灶图像中的各病灶特征，从而得到各特征的量化数据，包括出血特征的第一真实病理数据、溃疡特征的第二真实病理数据、血管特征的第三真实病理数据和血管分级数据，并通过病灶信息确定模块结合获取的各特征的程度匹配条件，确定各特征的程度数据，最后结合各特征的预设权重得到病灶图像的病灶信息，实现了病灶信息获取过程中采用量化指标进行程度判断的目的，提高了病灶信息获取的准确性。
相应的，本申请实施例还提供一种电子设备，如图10所示，该电子设备可以包括有一个或者一个以上处理核心的处理器801、无线（WiFi，Wireless Fidelity)模块802、有一个或一个以上计算机可读存储介质的存储器803、音频电路804、显示单元805、输入单元806、传感器807、电源808、以及射频（RF，Radio Frequency）电路809等部件。本领域技术人员可以理解，图10中示出的电子设备的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器801是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器803内的软件程序和/或模块，以及调用存储在存储器803内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。在一种实施例中，处理器801可包括一个或多个处理核心；优选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。
WiFi属于短距离无线传输技术，电子设备通过无线模块802可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了无线模块802，但是可以理解的是，其并不属于终端的必需构成，完全可以根据需要在不改变发明的本质的范围内而省略。
存储器803可用于存储软件程序以及模块，处理器801通过运行存储在存储器803的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器803可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器803可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器803还可以包括存储器控制器，以提供处理器801和输入单元806对存储器803的访问。
音频电路804包括扬声器，扬声器可提供用户与电子设备之间的音频接口。音频电路804可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出。
显示单元805可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元805可包括显示面板，在一种实施例中，可以采用液晶显示器（LCD，Liquid CrystalDisplay）、有机发光二极管（OLED，Organic Light-Emitting Diode）等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器801以确定触摸事件的类型，随后处理器801根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图10中，触敏表面与显示面板是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
输入单元806可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元806可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作），并根据预先设定的程式驱动相应的连接装置。在一种实施例中，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器801，并能接收处理器801发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元806还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
电子设备还可包括至少一种传感器807，比如光传感器，具体地，光传感器可包括环境光传感器及距离传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
电子设备还包括给各个部件供电的电源808（比如电池），优选的，电源可以通过电源管理***与处理器801逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源808还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
射频电路809可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器801处理；另外，将涉及上行的数据发送给基站。通常，射频电路809包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块（SIM，Subscriber Identity Module）卡、收发信机、耦合器、低噪声放大器（LNA，Low Noise Amplifier）、双工器等。此外，射频电路809还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***（GSM，Global System of Mobile communication）、通用分组无线服务（GPRS，GeneralPacket Radio Service）、码分多址（CDMA，Code Division Multiple Access）、宽带码分多址（WCDMA，Wideband Code Division Multiple Access）、长期演进（LTE，Long TermEvolution)、电子邮件、短消息服务（SMS，Short Messaging Service)等。
尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器803中，并由处理器801来运行存储在存储器803中的应用程序，从而实现以下功能：
获取病灶图像和摄像头参数，所述病灶图像包括出血特征、溃疡特征和血管特征；
调用训练后的深度估计模型处理所述病灶图像，得到病灶深度图；根据所述病灶深度图，得到所述出血特征的第一平均深度数据、所述溃疡特征的第二平均深度数据以及所述血管特征的第三平均深度数据；
根据所述病灶图像得到所述出血特征的第一测量病理数据、所述溃疡特征的第二测量病理数据以及所述血管特征的第三测量病理数据；根据所述病灶图像、所述第一测量病理数据、所述第一平均深度数据和所述摄像头参数，得到所述出血特征的第一真实病理数据；根据所述病灶图像、所述第二测量病理数据、所述第二平均深度数据和所述摄像头参数，得到所述溃疡特征的第二真实病理数据；根据所述病灶图像、所述第三测量病理数据、所述第三平均深度数据和所述摄像头参数，得到所述血管特征的第三真实病理数据；
根据所述病灶图像和训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据；
获取各特征的程度匹配条件，根据所述第一真实病理数据、所述第二真实病理数据、所述第三真实病理数据、所述血管分级数据以及所述程度匹配条件，得到各特征的程度数据；根据各特征的程度数据和各特征的预设权重，得到所述病灶图像的病灶信息。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现上述肠镜下病灶信息获取方法的功能。
其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
以上对本申请实施例所提供的肠镜下病灶信息获取方法、装置、电子设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种肠镜下病灶信息获取方法，其特征在于，包括：
获取病灶图像和摄像头参数，所述病灶图像包括出血特征、溃疡特征和血管特征；
调用训练后的深度估计模型处理所述病灶图像，得到病灶深度图；根据所述病灶深度图，得到所述出血特征的第一平均深度数据、所述溃疡特征的第二平均深度数据以及所述血管特征的第三平均深度数据；
根据所述病灶图像得到所述出血特征的第一测量病理数据、所述溃疡特征的第二测量病理数据以及所述血管特征的第三测量病理数据；根据所述病灶图像、所述第一测量病理数据、所述第一平均深度数据和所述摄像头参数，得到所述出血特征的第一真实病理数据；根据所述病灶图像、所述第二测量病理数据、所述第二平均深度数据和所述摄像头参数，得到所述溃疡特征的第二真实病理数据；根据所述病灶图像、所述第三测量病理数据、所述第三平均深度数据和所述摄像头参数，得到所述血管特征的第三真实病理数据；
根据所述病灶图像和训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据；
获取各特征的程度匹配条件，根据所述第一真实病理数据、所述第二真实病理数据、所述第三真实病理数据、所述血管分级数据以及所述程度匹配条件，得到各特征的程度数据；根据各特征的程度数据和各特征的预设权重，得到所述病灶图像的病灶信息。
2.根据权利要求1所述的肠镜下病灶信息获取方法，其特征在于，在所述调用训练后的深度估计模型处理所述病灶图像，得到病灶深度图的步骤之前，还包括：
基于真实肠体和真实病灶建模，得到肠体病灶组合模型；
在所述肠体病灶组合模型内部进行模拟拍摄，得到多个训练病灶图像和多个训练病灶深度图；
基于各训练病灶图像和对应的训练病灶深度图对深度估计模型进行训练。
3.根据权利要求1所述的肠镜下病灶信息获取方法，其特征在于，所述根据所述病灶图像得到所述出血特征的第一测量病理数据、所述溃疡特征的第二测量病理数据以及所述血管特征的第三测量病理数据的步骤包括：
分别调用出血特征分割网络、溃疡特征分割网络以及血管特征分割网络；
将所述病灶图像输入所述出血特征分割网络，得到出血特征区域；根据所述出血特征区域，确定所述出血特征的第一测量病理数据；
将所述病灶图像输入所述溃疡特征分割网络，得到溃疡特征区域；根据所述溃疡特征区域，确定所述溃疡特征的第二测量病理数据；
将所述病灶图像输入所述血管特征分割网络，得到血管特征区域；根据所述血管特征区域，确定所述血管特征的第三测量病理数据。
4.根据权利要求3所述的肠镜下病灶信息获取方法，其特征在于，所述出血特征分割网络包括通过出血特征训练蒸馏得到的蒸馏后的学生语义分割网络、所述溃疡特征分割网络包括通过溃疡特征训练蒸馏得到的蒸馏后的学生语义分割网络、所述血管特征分割网络包括通过血管特征训练蒸馏得到的蒸馏后的学生语义分割网络，在所述分别调用出血特征分割网络、溃疡特征分割网络以及血管特征分割网络的步骤之前，还包括：
获取分别基于出血特征、溃疡特征以及血管特征训练得到的训练后的教师语义分割网络和训练后的学生语义分割网络；其中，所述训练后的教师语义分割网络的主干网络包括稠密图像分类网络，所述训练后的学生语义分割网络的主干网络包括轻量化图像分类网络；
基于所述训练后的教师语义分割网络对所述训练后的学生语义分割网络进行知识蒸馏处理，得到蒸馏后的学生语义分割网络；
将基于所述出血特征训练蒸馏得到的蒸馏后的学生语义分割网络作为出血特征分割网络，将基于所述溃疡特征训练蒸馏得到的蒸馏后的学生语义分割网络作为溃疡特征分割网络，将基于所述血管特征训练蒸馏得到的蒸馏后的学生语义分割网络作为血管特征分割网络。
5.根据权利要求1所述的肠镜下病灶信息获取方法，其特征在于，所述测量病理数据包括各特征区域的像素个数，所述根据所述病灶图像、所述第一测量病理数据、所述第一平均深度数据和所述摄像头参数，得到所述出血特征的第一真实病理数据；根据所述病灶图像、所述第二测量病理数据、所述第二平均深度数据和所述摄像头参数，得到所述溃疡特征的第二真实病理数据；根据所述病灶图像、所述第三测量病理数据、所述第三平均深度数据和所述摄像头参数，得到所述血管特征的第三真实病理数据的步骤，包括：
获取所述病灶图像的图像尺寸信息；
根据所述摄像头参数和所述图像尺寸信息，确定像素焦距；
根据摄像头内参矩阵、所述摄像头参数以及所述像素焦距，确定单位像素的图像面积；
根据所述单位像素的图像面积、所述第一平均深度数据以及所述摄像头参数，确定所述出血特征中单位像素对应的真实面积；根据所述出血特征中单位像素对应的真实面积和所述第一测量病理数据，得到所述出血特征的第一真实病理数据；
根据所述单位像素的图像面积、所述第二平均深度数据以及所述摄像头参数，确定所述溃疡特征中单位像素对应的真实面积；根据所述溃疡特征中单位像素对应的真实面积和所述第二测量病理数据，得到所述溃疡特征的第二真实病理数据；
根据所述单位像素的图像面积、所述第三平均深度数据以及所述摄像头参数，确定所述血管特征中单位像素对应的真实面积；根据所述血管特征中单位像素对应的真实面积和所述第三测量病理数据，得到所述血管特征的第三真实病理数据。
6.根据权利要求1所述的肠镜下病灶信息获取方法，其特征在于，所述测量病理数据包括各特征区域的外接矩形的图像面积，所述根据所述病灶图像、所述第一测量病理数据、所述第一平均深度数据和所述摄像头参数，得到所述出血特征的第一真实病理数据；根据所述病灶图像、所述第二测量病理数据、所述第二平均深度数据和所述摄像头参数，得到所述溃疡特征的第二真实病理数据；根据所述病灶图像、所述第三测量病理数据、所述第三平均深度数据和所述摄像头参数，得到所述血管特征的第三真实病理数据的步骤，包括：
获取所述病灶图像的图像尺寸信息；
根据所述摄像头参数和所述图像尺寸信息，确定像素焦距；
根据所述第一测量病理数据、所述第一平均深度数据和所述像素焦距，得到所述出血特征的第一真实病理数据；
根据所述第二测量病理数据、所述第二平均深度数据和所述像素焦距，得到所述出血特征的第二真实病理数据；
根据所述第三测量病理数据、所述第三平均深度数据和所述像素焦距，得到所述出血特征的第三真实病理数据。
7.根据权利要求1所述的肠镜下病灶信息获取方法，其特征在于，所述根据所述病灶图像和训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据的步骤，包括：
获取训练后的血管分级模型和所述训练后的血管分级模型的分级准确率曲线；其中，所述分级准确率曲线为根据所述训练后的血管分级模型的模型预测值和真实值形成的曲线；
根据所述分级准确率曲线，确定稀疏化参数；
根据所述稀疏化参数对所述训练后的血管分级模型进行稀疏化训练，得到训练后的稀疏血管分级模型；
将所述病灶图像输入所述训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据。
8.一种肠镜下病灶信息获取装置，其特征在于，包括：
第一获取模块，用于获取病灶图像和摄像头参数，所述病灶图像包括出血特征、溃疡特征和血管特征；
深度数据确定模块，用于调用训练后的深度估计模型处理所述病灶图像，得到病灶深度图；根据所述病灶深度图，得到所述出血特征的第一平均深度数据、所述溃疡特征的第二平均深度数据以及所述血管特征的第三平均深度数据；
真实病理数据确定模块，用于根据所述病灶图像得到所述出血特征的第一测量病理数据、所述溃疡特征的第二测量病理数据以及所述血管特征的第三测量病理数据；根据所述病灶图像、所述第一测量病理数据、所述第一平均深度数据和所述摄像头参数，得到所述出血特征的第一真实病理数据；根据病灶图像、所述第二测量病理数据、所述第二平均深度数据和所述摄像头参数，得到所述溃疡特征的第二真实病理数据；根据所述病灶图像、所述第三测量病理数据、所述第三平均深度数据和所述摄像头参数，得到所述血管特征的第三真实病理数据；
血管分级数据确定模块，用于根据所述病灶图像和训练后的稀疏血管分级模型，得到所述血管特征的血管分级数据；
病灶信息确定模块，用于获取各特征的程度匹配条件，根据所述第一真实病理数据、所述第二真实病理数据、所述第三真实病理数据、所述血管分级数据以及所述程度匹配条件，得到各特征的程度数据；根据各特征的程度数据和各特征的预设权重，得到所述病灶图像的病灶信息。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于运行所述存储器里的计算机程序，以执行权利要求1至7任一项所述的肠镜下病灶信息获取方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的肠镜下病灶信息获取方法中的步骤。
CN202211529407.4A 2022-12-01 2022-12-01 肠镜下病灶信息获取方法、装置、电子设备及存储介质 Active CN115578385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211529407.4A CN115578385B (zh) 2022-12-01 2022-12-01 肠镜下病灶信息获取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211529407.4A CN115578385B (zh) 2022-12-01 2022-12-01 肠镜下病灶信息获取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115578385A CN115578385A (zh) 2023-01-06
CN115578385B true CN115578385B (zh) 2023-03-14

Family

ID=84590730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211529407.4A Active CN115578385B (zh) 2022-12-01 2022-12-01 肠镜下病灶信息获取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115578385B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209901A (zh) * 2010-07-14 2013-07-17 螺纹封有限公司 用于容器的盖
US9854958B1 (en) * 2013-03-23 2018-01-02 Garini Technologies Corporation System and method for automatic processing of images from an autonomous endoscopic capsule
CN111341441A (zh) * 2020-03-02 2020-06-26 刘四花 一种肠胃科病模型构建方法及诊断***
CN112016634A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质
CN113129287A (zh) * 2021-04-22 2021-07-16 武汉楚精灵医疗科技有限公司 一种针对上消化道内镜影像的病灶自动留图方法
CN114004969A (zh) * 2021-09-15 2022-02-01 苏州中科华影健康科技有限公司 一种内镜图像病灶区检测方法、装置、设备及存储介质
CN114511728A (zh) * 2021-12-24 2022-05-17 之江实验室 一种电子内镜食管病灶智能检测模型建立方法
CN114582516A (zh) * 2022-02-25 2022-06-03 吾征智能技术(北京)有限公司 疾病多源数据的处理方法、装置、存储介质及电子装置
CN115049666A (zh) * 2022-08-16 2022-09-13 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN115294191A (zh) * 2022-10-08 2022-11-04 武汉楚精灵医疗科技有限公司 基于电子内镜的标志物尺寸测量方法、装置、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209901A (zh) * 2010-07-14 2013-07-17 螺纹封有限公司 用于容器的盖
US9854958B1 (en) * 2013-03-23 2018-01-02 Garini Technologies Corporation System and method for automatic processing of images from an autonomous endoscopic capsule
CN111341441A (zh) * 2020-03-02 2020-06-26 刘四花 一种肠胃科病模型构建方法及诊断***
CN112016634A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质
CN113129287A (zh) * 2021-04-22 2021-07-16 武汉楚精灵医疗科技有限公司 一种针对上消化道内镜影像的病灶自动留图方法
CN114004969A (zh) * 2021-09-15 2022-02-01 苏州中科华影健康科技有限公司 一种内镜图像病灶区检测方法、装置、设备及存储介质
CN114511728A (zh) * 2021-12-24 2022-05-17 之江实验室 一种电子内镜食管病灶智能检测模型建立方法
CN114582516A (zh) * 2022-02-25 2022-06-03 吾征智能技术(北京)有限公司 疾病多源数据的处理方法、装置、存储介质及电子装置
CN115049666A (zh) * 2022-08-16 2022-09-13 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN115294191A (zh) * 2022-10-08 2022-11-04 武汉楚精灵医疗科技有限公司 基于电子内镜的标志物尺寸测量方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Region-Based Automated Localization of Colonoscopy and Wireless Capsule Endoscopy Polyps";Sudhir Sornapudi.et al;《applied sciences》;全文 *
"无线胶囊内镜病变图像智能识别***的设计与实现";安晨;《中国优秀硕士学位论文全文数据库 电子期刊》;全文 *

Also Published As

Publication number Publication date
CN115578385A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN111598900B (zh) 一种图像区域分割模型训练方法、分割方法和装置
WO2020211293A1 (zh) 一种图像分割方法及装置、电子设备和存储介质
KR20210111833A (ko) 타겟의 위치들을 취득하기 위한 방법 및 장치와, 컴퓨터 디바이스 및 저장 매체
CN107133354B (zh) 图像描述信息的获取方法及装置
CN110610181A (zh) 医学影像识别方法及装置、电子设备及存储介质
CN110827217A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN114494442A (zh) 图像处理方法、装置及设备
CN108647566B (zh) 一种识别皮肤特征的方法及终端
CN115578385B (zh) 肠镜下病灶信息获取方法、装置、电子设备及存储介质
CN110602384B (zh) 曝光控制方法及电子设备
CN110766606B (zh) 一种图像处理方法及电子设备
CN109389561B (zh) 一种成像方法及装置
CN109285114B (zh) 一种图片处理方法及设备
CN111986251A (zh) 物体体积测量方法、装置、测量设备及存储介质
CN111325316B (zh) 一种训练数据的生成方法及装置
CN110517263B (zh) 确定内中膜厚度的方法、装置及存储介质
CN115578437B (zh) 肠体病灶深度数据获取方法、装置、电子设备及存储介质
CN110795465B (zh) 用户规模预估方法、装置、服务器及存储介质
CN113763230B (zh) 图像风格迁移模型训练方法、风格迁移方法及装置
CN110047076B (zh) 一种图像信息的处理方法、装置及存储介质
CN114627071A (zh) 视杯视盘分割方法、装置、计算机及存储介质
CN116563656A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN118033452A (zh) 一种针对特征提取类锂离子电池寿命预测方法及终端
CN115965523A (zh) 图像补全方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant