CN113744266B - 一种病灶检测框的显示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种病灶检测框的显示方法、装置、电子设备及存储介质，显示方法包括，基于获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像；然后对视频帧图像预处理，得到预处理图像；利用已训练的病灶检测模型对预处理图像进行病灶识别检测，得到检测结果；响应于检测结果为识别出病灶和病灶位置数据，基于病灶位置数据在第二画布上生成并显示病灶检测框；其中，第二画布位于第一画布上层，且第二画布位为背景透明画布。第一画布上的视频画面不会影响病灶检测框的显示，提高了病灶检测框的显示稳定性、连续性和准确性，提高了内镜下诊断的精确率及效率。

Description

一种病灶检测框的显示方法、装置、电子设备及存储介质

技术领域

本申请涉及医疗技术辅助领域，具体涉及一种病灶检测框的显示方法、装置、电子设备及存储介质。

背景技术

随着电子成像、医学影像和人工智能技术的发展，借助于介质（如X射线、电磁场、超声波、内窥镜等）把人体内部组织器官以影像方式表现出来，从而方便对人体健康状况进行评价方式已成为医师诊断和治疗疾病的重要手段，因此，为了减轻医师的负担并降低疾病的诊断难度，提高病灶检出率，对影像中病灶的自动检测并实时显示检测框提示医师具有十分重要的意义。

但是实际实时辅助医疗影像病灶检查过程中，随着医师操作中观察视角的移动，视野中病灶尺寸，形状，位置变化较大，导致病灶检测框不稳定、不连续，多病灶及小病灶检测框来回跳，影响到医师的操作体验，甚至会影响医师的诊断准确性。

发明内容

本申请提供一种病灶检测框的显示方法、装置、电子设备及存储介质，旨在解决现有技术下的病灶检测框显示不稳定的问题。

一方面，本申请提供一种病灶检测框的显示方法，所述显示方法包括：

基于获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像；对所述视频帧图像预处理，得到预处理图像；利用已训练的病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果；响应于检测结果为识别出病灶和病灶位置数据，基于所述病灶位置数据在第二画布上生成并显示病灶检测框；其中，所述第二画布位于所述第一画布上层，且所述第二画布位为背景透明画布。

在本申请一种可能的实现方式中，所述基于获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像，包括：基于实时获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及基于实时获取的内窥镜视频数据，以预设频率获取视频帧图像与所述视频帧图像对应的当前时间；

所述响应于检测结果为识别出病灶和病灶位置数据，基于所述病灶位置数据在第二画布上生成并显示病灶检测框，包括：响应于检测结果为识别出病灶和病灶位置数据，将所述病灶位置数据和所述视频帧图像对应的所述当前时间存储在待显示列表中；其中，所述视频帧图像对应的所述病灶位置数据和所述当前时间为一组待显示数据；从所述待显示列表中获取一组所述待显示数据，基于所述待显示数据中的所述病灶位置数据在第二画布中显示病灶检测框；

所述从所述待显示列表中获取一组所述待显示数据，基于所述待显示数据中的所述病灶位置数据在第二画布中显示病灶检测框之后，还包括：所述病灶检测框在显示预设持续时间后，在所述第二画布上清除所述病灶检测框；

其中，所述预设频率基于所述已训练的病灶检测模型的识别检测效率确定；所述预设持续时间基于所述已训练的病灶检测模型的识别检测效率确定。

在本申请一种可能的实现方式中，所述待显示列表中包括有至少两组待显示数据；所述从所述待显示列表中获取一组所述待显示数据，基于所述待显示数据中的所述病灶位置数据在第一画布中显示病灶检测框之前，还包括：将所述至少两组待显示数据动态合并为一组待显示数据。

在本申请一种可能的实现方式中，所述将所述至少两组待显示数据动态合并为一组待显示数据，包括：通过非极大值抑制算法，将所述至少两组待显示数据动态合并为一组待显示数据。

在本申请一种可能的实现方式中，所述从所述待显示列表中获取一组所述待显示数据，基于所述待显数据中的所述病灶位置数据在第二画布中显示病灶检测框之前，还包括：基于所述待显示列表中的所述视频帧图像对应的所述当前时间、所述预设持续时间以及当前待显示时间，过滤去除所述待显示列表中已过期的所述待显示数据。

在本申请一种可能的实现方式中，所述利用已训练的病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果，包括：获取初始目标检测模型及病灶训练集；利用所述病灶训练集对所述初始目标检测模型进行训练，得到所述病灶检测模型；利用所述病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果。

在本申请一种可能的实现方式中，所述对所述视频帧图像预处理，得到预处理图像，包括：利用已训练的裁边网络模型对所述视频帧图像进行识别，得到有效信息区域；基于所述有效信息区域，对所述视频帧图像进行裁剪。

另一方面，本申请提供一种病灶检测框的显示装置，所述显示装置包括：

显示模块，用于在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及用于响应于检测结果为识别出病灶和病灶位置数据，基于所述病灶位置数据在第二画布上生成并显示病灶检测框；获取模块，用于基于获取的内窥镜视频数据获取视频帧图像；预处理模块，用于对所述视频帧图像预处理，得到预处理图像；识别检测模块，用于利用已训练的病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果。

另一方面，本申请还提供一种电子设备，所述电子设备包括互相耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述病灶检测框的显示方法。

另一方面，本申请还提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述病灶检测框的显示方法。

本申请提供的病灶检测框的显示方法，包括基于获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像；然后对视频帧图像预处理，得到预处理图像；利用已训练的病灶检测模型对预处理图像进行病灶识别检测，得到检测结果；响应于检测结果为识别出病灶和病灶位置数据，基于病灶位置数据在第二画布上生成并显示病灶检测框；其中，第二画布位于第一画布上层，且第二画布位为背景透明画布。通过对获取视频帧图像进行预处理然后使用病灶检测模型进行病灶识别检测，提高了病灶识别的精确度和准确性。在视频帧图像中识别处病灶且识别出病灶位置数据，第二画布在生成病灶检测框，而第一画布上基于获取的内窥镜视频数据在连续生成并显示视频画面，第一画布上的视频画面不会影响病灶检测框的显示，提高了病灶检测框的显示稳定性和连续性；同时由于提高了病灶识别以及病灶位置识别的准确性和效率，从而提高了病灶检测框对显示画面中病灶进行突出显示的准确性，提高了内窥镜下诊断的精确率及效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的病灶检测框的显示方法的应用场景示意图；

图2是本申请提供的病灶检测框的显示方法一实施例的流程示意图；

图3是S23一具体实施例的流程示意图；

图4是本申请提供的病灶检测框的显示方法另一实施例的流程示意图；

图5是本申请提供的病灶检测框的显示装置一实施例的框架示意图；

图6是本申请电子设备一实施例的框架示意图；

图7是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种病灶检测框的显示方法、装置、电子设备及存储介质，以下分别进行详细说明。

参阅图1，图1是本申请实施例提供的病灶检测框的显示方法的应用场景示意图。内窥镜检测终端110与显示终端130之间均通信连接。内窥镜检测终端110内窥镜具有拍摄功能，主要负责采集人体或动物体等生物体中待检测部位的内窥镜影像。根据检测部位可以分为肠胃镜、耳鼻喉内窥镜、口腔内窥镜、尿道膀胱镜、腹腔镜等。内窥镜检测终端110采集的内窥镜影像的视频数据，发送至显示终端130。显示终端130获取到内窥镜检测终端110采集的内窥镜视频数据，并进行本申请提供的病灶检测框的显示方法。具体包括：基于获取的内窥镜视频数据，在第一画布上生成并显示内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像；对视频帧图像预处理，得到预处理图像；利用已训练的病灶检测模型对预处理图像进行病灶识别检测，得到检测结果；响应于检测结果为识别出病灶和病灶位置数据，基于病灶位置数据在第二画布上生成并显示病灶检测框；其中，第二画布位于第一画布上层，且第二画布位为背景透明画布。

内窥镜检测终端110和显示终端130可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种终端可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。

本实施例中，显示终端130包括但不局限于手机、平板等便携终端，电脑、查询机等固定终端，以及各种虚拟终端等；显示终端130可以包括显示装置和主机，具有显示功能。

可以理解的，该病灶检测框的显示场景中还可以包括一个或多个服务器，或/且一个或多个与服务器网络连接的终端，具体此处不作限定。其中，服务器包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。

需要说明的是，图1所示的病灶检测框的显示方法的应用场景示意图仅仅是一个示例，本申请实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着病灶检测框的显示场景的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

参阅图2，图2是本申请提供的病灶检测框的显示方法一实施例的流程示意图。显示方法包括：

S21：基于获取的内窥镜视频数据，在第一画布上生成并显示内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像。

本步骤中，内窥镜视频数据是内窥镜采集得到的视频数据，可以是实时采集的，也可以是由内窥镜前期采集并存储的视频数据。内窥镜具有拍摄功能，能够在对人体或动物等生物体进行内窥镜检测时采集视频数据。在医疗检测中，根据内窥镜检测的器官部位不同，内窥镜可以分为肠胃镜、耳鼻喉内窥镜、口腔内窥镜、尿道膀胱镜、腹腔镜等。

内窥镜采集视频数据，获取此内窥镜视频数据并基于此获取的内窥镜视频数据，在第一画布上生成并显示内窥镜视频数据对应的视频画面，即显示界面会显示和播放内窥镜检查的影像视频。并且，基于此获取的内窥镜视频数据，还获取视频帧图像。可以理解的，视频是由连续的视频帧图像组成，此处获取视频帧图像，是指获取其中一帧。或者以一定的频率或者一定的时间间隔获取视频中的一帧。可以理解的，获取到的内窥镜视频数据可以为已编码数据，需要对其进行解码，然后再进行显示等后续操作。

S22：对视频帧图像预处理，得到预处理图像。

在上一步骤获取到视频帧图像后，对视频帧图像进行预处理，比如对图像尺寸、色彩、亮度、分辨率等方面进行相应处理，比如剪裁处理或图像缩放处理等，以去除图像中的无效信息区域和干扰信息、减小噪音，保留有效信息区域和凸显特征，以及使预处理图像满足后续处理的要求。预处理可以是单一的一种处理方式，也可以为多种处理方式的结合。比如可以只进行剪裁处理或者只进行图像缩放处理，也可以进行剪裁和图像缩放多种处理，多种处理的先后顺序可以根据具体应用场景进行相应设置和调整。经过了预处理后的预处理图像能够在下一步病灶识别时，能够提高病灶识别的精度和准确性，减少识别耗时以及减少图像在后续的数据传输过程中的耗时。

在医疗检测中，根据内窥镜检测的器官部位不同或者说应用场景不同，内窥镜可以分为肠胃镜、耳鼻喉内窥镜、口腔内窥镜、尿道膀胱镜、腹腔镜等。由于不同的器官部位结构不同，其对应的内窥镜视频帧图像中的有效区域的形状尺寸也不同。因此，不同种类的内窥镜，对其视频帧图像进行相应的预处理，其中，可以进行不同的预处理，或者也可以进行相同的预处理。

本步骤中，预处理可以包括剪裁处理。在对视频帧图像进行剪裁预处理时，可以根据不同的内窥镜检测器官，固定相应的剪裁区域进行剪裁。如肠镜对应有肠镜视频帧图像的剪裁区域，胃镜对应胃镜视频帧图像的剪裁区域。两种内窥镜视频帧图像的剪裁区域可以相同，也可以不相同，可以根据实际检测的需求进行设定。除了固定相应的剪裁区域进行剪裁之外，还可以通过Roberts、Prewitt、Sobel、Canny等边缘检测算法得到有效区域的轮廓，在根据轮廓来裁剪有效区域。或者还可以利用基于神经网络的有效区域识别方法识别有效区域并基于有效区域进行裁剪。具体的，基于神经网络的有效区域识别方法可以包括：利用已训练的裁边网络模型对视频帧图像进行识别，得到有效信息区域。然后基于识别出的有效信息区域，对视频帧图像进行裁剪，去除掉图像边缘的无效信息部分，保留有用的信息区域。其中，已训练的裁边网络模型可以通过对初始卷积神经网络模型和有效区域训练集进行训练得到。通过基于神经网络的有效区域识别方法进行有效区域识别并进行相应剪裁的方式，能够提高剪裁方法的适用广泛性，可以适用于多种型号的内窥镜、多种不同光源类型下内窥镜获取的视频数据从而获取的不同亮度和色彩的视频帧图像，以及不同的检测场景下的内窥镜视频帧图像。

其中，预处理可以包括图像缩放处理，以节省图像进行后续处理的时间，提高效率。具体的，图像缩放处理可以使用最邻近插值算法、双线性插值算法（Bilinear）、双三次插值算法（Bicubic）等本领域已知的图像缩放算法。

在一个具体实施场景中，获取到视频帧图像，尺寸大小为1920*1080。利用基于神经网络的有效区域识别方法对此视频帧图像进行有效区域识别，并基于识别出的有效区域进行裁剪，得到尺寸大小为1250*1080的图像。根据已裁剪图像的长宽中的最大值，生成1250*1250黑色背景图片，并将已裁剪图像粘贴在黑色背景图片中间，使长宽比为1:1，尺寸大小为1250*1250。而长宽比为1:1，使图像进行后续缩放等处理时不至于发生图像变形。然后使用双线型内插值算法对尺寸大小为1250*1250的图像进行缩放处理，缩放后的尺寸大小为608608。双线型内插值算法就是一种比较保真的图像缩放算法，充分的利用了源图像中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，因此缩放效果比最邻近插值好，缩放后图像质量高，不会出现像素值不连续的情况，且能有效防止图像中特征信息不要过多丢失。

双线型内插值是有两个变量的插值函数的线性插值扩展，其思想是在两个方向分别进行一次线性插值，通过四个相邻像素插值得到待求像素。选择一个坐标系，使四个相邻像素的坐标分别为(0, 0)、(0, 1)、(1, 0) 和 (1, 1)，通过插值公式可计算出待求像素的值。

插值公式如式（I）。

f(x,y)=f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy 式（I）

插值公式用矩阵运算表示如式（II）。

式（II）

S23：利用已训练的病灶检测模型对预处理图像进行病灶识别检测，得到检测结果。

将S22中经过预处理得到的预处理图像，通过已训练的病灶检测模型进行病灶识别检测，病灶检测模型输出检测结果。检测结果可以为两种，一种为未识别出病灶，则不进行病灶显示框显示；另一种为识别出病灶和病灶位置，可以进行后续步骤S24。其中，病灶的位置数据可以为区域坐标信息，比如框区域对角两点的坐标，或者框区域四个点的坐标等。

在识别出病灶时，还能够识别出病灶的位置数据，即病灶的位置区域信息。本实施例中，病灶检测模型可以是一个单独的模型，能够通过一个模型实现病灶识别以及病灶位置识别。在其他实施例中，病灶检测模型可以是一个复合模型，即由两个或两个以上的识别模型复合形成，其中的部分模型进行病灶识别，部分模型进行病灶位置识别。此种情况下，可以同时进行病灶识别和病灶位置识别，也可以先进行病灶识别，在识别出病灶后再进行病灶位置识别。本申请中的病灶检测模型可以为本领域已知的进行图像识别和位置识别的模型，比如Yolo目标检测算法、SSD目标检测算法、Faster-RCNN目标检测算法等。其中，Yolo目标检测算法包括YoloV1、YoloV2、YoloV3等多个版本。

在一个具体实施例中，参阅图3，图3是S23一具体实施例的流程示意图，包括如下步骤：

S231：获取初始目标检测模型及病灶训练集。

本实施例中，初始目标检测模型可以为YoloV3目标检测算法模型。

病灶训练集可以为胃病灶训练集、肠病灶训练集、食管病灶训练集等消化道相关的病灶训练集；可以为口腔病灶训练集、尿道膀胱病灶训练集等其他检测部位对应的病灶训练集。

一个病灶训练集可以为只对应一个检测部位的病灶训练集，也可以为对应多个不同检测部位的病灶训练集。比如，一个病灶训练集为病灶训练集，只针对胃部，包括多个胃部图像。其中，多个胃部图像中有包含胃部病灶的多个图像，也有不含病灶的多个图像，且一张胃部图像中病灶的个数可以为一个或多个。另外，多个胃部图像也可以对应不同的光源类型，还可以包括胃部多种不同种类的病灶。当然，一个病灶训练集也可以对应多个检测部位，比如消化道训练集，对应消化道的多个器官，其中可以包括胃部图像、肠部图像等。

进一步地，一个病灶训练集也可以对应多个检测部位时或者说针对不同的内窥镜应用场景时，可以将一个病灶训练集可以分为多个子病灶训练集，比如消化道训练集分为胃部子病灶训练集、肠部子病灶训练集。

S232：利用病灶训练集对初始目标检测模型进行训练，得到病灶检测模型。

将病灶训练集中的图像输入到初始目标检测模型中，并将模型输出结果与病灶训练集中的图像对应的标签进行比较后进行反向传播，不断调整模型的权重与偏置参数，使模型不断优化，从而实现对初始目标检测模型进行训练，得到能够识别病灶的病灶检测模型。

在本步骤中，使用病灶训练集的不同，可以训练得到不同的病灶检测模型。利用一个检测部位的一个病灶训练集，可以训练得到一个检测部位对应的病灶检测模型。比如利用肠部病灶训练集，对初始目标检测模型进行训练，得到的是肠部病灶检测模型，提高病灶检测模型的专一性和针对性。当然，还可以进一步细化，对肠部的不同病变导致的不同种类的病灶，分别设立多个不同的病灶训练集，比如肠息肉对应的病灶训练集，训练得到只针对肠息肉的病灶检测模型，提高病灶检测模型的专一性和准确性。

另一方面，也可以通过针对多个检测部位的一个病灶训练集，训练得到一个可以适用于多个检测部位的病灶检测模型，提高病灶检测模型的使用广泛性。而使用多个不同的病灶训练集对初始目标检测模型进行训练，也能得到一个能够适用于多个检测部位的病灶检测模型。可以理解的，病灶模型的准确性与病灶训练集中的样本数量呈正相关，样本数量大，训练得到的病灶模型的准确性也会相应增大。

S233：利用病灶检测模型对预处理图像进行病灶识别检测，得到检测结果。

将S22中的预处理图像输入到训练好的病灶检测模型中，得到检测结果。

S24：响应于检测结果为识别出病灶和病灶位置数据，基于病灶位置数据在第二画布上生成并显示病灶检测框。其中，第二画布位于第一画布上层，且第二画布位为背景透明画布。

当检测结果为识别出病灶和病灶位置数据时，则根据病灶位置数据在第二画布上生成并显示病灶检测框。当检测结果为未识别出病灶，则不进行此步骤，不生成病灶检测框。

参阅图4，图4是本申请提供的病灶检测框的显示方法另一实施例的流程示意图，具体包括：

S31：基于实时获取的内窥镜视频数据，在第一画布上生成并显示内窥镜视频数据对应的视频画面，以及基于实时获取的内窥镜视频数据，以预设频率获取视频帧图像与视频帧图像对应的当前时间；其中，预设频率基于已训练的病灶检测模型的识别检测效率确定。

本实施例中，内窥镜实时采集视频数据，本步骤中实时获取内窥镜采集的视频数据，在第一画布上生成并显示实时视频画面并以一个预设频率获取视频帧图像与视频帧图像对应的当前时间。也就是说，获取实时视频数据中的某一帧视频图像，并同时获取该帧视频图像的当前时间。预设频率可以基于后续步骤中进行病灶识别的效率进行确定。预设频率也可以说是以一定的时间间隔获取视频帧图像，由于病灶检测模型进行病灶识别需要一定的耗时，相应地，需要输入病灶检测模型中进行病灶识别的视频帧图像的时间间隔需要与病灶检测模型的效率相匹配。若视频帧图像获取的时间间隔过短，可能前一帧视频帧图像输入病灶检测模型中进行识别还未输出检测结果，后一帧视频帧图像已经处于待病灶识别状态，此时对病灶检测模型并不能顺畅且及时对每个视频帧图像进行识别，会出现待识别视频帧图像不断累积的情况，不利于本申请病灶检测框显示的及时性和匹配性。

S32：对所述视频帧图像预处理，得到预处理图像。

此步骤可以参考S22的相关描述，此处不进行赘述。

S33：利用已训练的病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果。

此步骤可以参考S23的相关描述，此处不进行赘述。

S34：响应于检测结果为识别出病灶和病灶位置数据，将病灶位置数据和视频帧图像对应的当前时间存储在待显示列表中；其中，视频帧图像对应的病灶位置数据和当前时间为一组待显示数据。

在检测结果为识别出病灶和病灶位置数据P，将病灶位置数据P和视频帧图像对应的当前时间T存储至待显示列表中，待显示列表List=[(P,T)]。在本实施例中，病灶位置数据P可以表示为框区域坐标点信息P [[x1,y1,x2,y2]...]。若一个视频帧图像中识别出多个病灶时，病灶位置数据可以为一个框区域坐标点信息，此框区域坐标覆盖了多个病灶对应的位置；病灶位置数据也可以为每个病灶分别对应的框区域坐标点信息。其中，位置较近的病灶可能会被识别输出一个框区域坐标点信息。可以理解的，待显示列表除了可以存储病灶位置数据P和视频帧图像对应的当前时间T之外，还可以根据需求存储其他数据。

本实施例中，待显示列表List根据先进先出原则，先存储进待显示列表Lis的病灶位置数据P先被获取并生成和显示病灶检测框，且数据被获取后则从待显示列表中清除，以减小数据存储压力。

S35：从待显示列表中获取一组待显示数据，基于待显示数据中的病灶位置数据在第二画布中显示病灶检测框。

在一个具体实施例中，在一段时间内，待显示列表中始终保持只有一个病灶位置数据，待显示列表中存储进一个病灶位置数据同时也对前一个病灶位置数据进行提取和清除，基于前一个病灶位置数据在第二画布中显示病灶检测框。即在检测到有病灶的时间段内，病灶检测框能够连续且稳定显示，提高内窥镜检查的视觉效果和辅助性，以便医师能通过显示的视频画面以及病灶检测框，更精准的进行病灶检出和判断。当然，待显示列表中也可以无病灶位置数据，即表示在一段时间内的多张视频帧图像中未识别出病灶。

在另一具体实施例中，在待显示列表中包括有至少两组待显示数据。此种情况下，可以在进行S35之前，将至少两组待显示数据动态合并为一组待显示数据，然后对合并后的一组待显示数据生成和显示病灶检测框，从而避免了由于连续几个视频帧图像对应的病灶位置相差较大，对应病灶检测框的显示位置也有很大不同而导致的视觉上病灶检测框抖动和不稳定。经过动态合并后，相邻两次生成的病灶检测框的位置相差较小，不会出现较多偏移，视觉上病灶检查框是稳定显示的。

待显示列表中包括有至少两组待显示数据，则待显示列表List数据长度L>1时，此时待显示列表List=[P1,P2,...]。经过动态合并后，待显示列表List=[P]，待显示列表List数据长度L=1。

具体的，可以通过非极大值抑制算法，将至少两组待显示数据动态合并为一组待显示数据。动态合并方法采用非极大值抑制（Non-maximum suppression，NMS）算法，去除待显示列表多余的数据。NMS转换公式如式（III）。

式（III）

其中，shresh为阈值，可以取值0~0.5，比如0.5。IoU为交并比（Interection-over-union）。NMS的算法流程包括：设有N个框，每个框被分类器计算得到的分数为Si，1<=i<=N。建造一个存放待处理候选框的集合H，初始化为包含全部N个框。建造一个存放最优框的集合M，初始化为空集。先将所有集合H中的框进行排序，选出分数最高的框m，从集合H移到集合M。遍历集合H中的框，分别与框m计算交并比IoU，如果高于阈值shresh，则认为此框与m重叠，将此框从集合H中去除，从而动态合并得到最优的框。

在另一具体实施例中，在进行S35之前，即在从待显示列表中获取一组待显示数据，基于待显示数据中的病灶位置数据在第二画布中显示病灶检测框的步骤之前，还可以基于待显示列表中的视频帧图像对应的当前时间、预设持续时间以及当前待显示时间，过滤去除待显示列表中已过期的待显示数据。

步骤S34中待显示列表List中的病灶位置数据为动态，其中的病灶位置数据的长度也为动态。长度L可以为0，此时表示无病灶与病灶位置数据；在一段时间内长度L为1，表示此时间段的视频数据中对应的视频帧图像中有病灶，且病灶的识别速度和病灶检测框的生成速度匹配。若长度L增大到一定程度，表示在一段时间内病灶检测框未及时生成和显示，待显示列表中的部分数据已经过期，如果对已过期的部分数据进行生成和显示病灶检测框，可能会与正在第一画布上生成并显示的视频画面不匹配，出现病灶检测框与视频画面中的病灶位置不对应，存在偏移，即病灶检测框未准确框选出视频画面中的病灶。另外，长度L较大时，若进行NMS算法等动态合并，也会增加动态合并的耗时。

在对待显示列表中的数据进行显示之前，对待显示列表中的数据进行过期判断，去除过期数据。比如，在生成病灶检测框的方法被调用时，获取当前时间N，即为当前待显示时间。待显示列表List=[(P1,T1),(P2,T2),...]，P1、P2等为相邻两个或多个视频帧图像对应的病灶位置数据，T1、T2等为相邻两个或多个视频帧图像对应的当前时间T。此处预设持续时间S即为步骤S36中的预设持续时间。基于待显示列表中的视频帧图像对应的当前时间T、预设持续时间S以及当前待显示时间N，判断去除过期数据。具体为：先计算TS=T+S，将TS与当前待显示时间N进行比较大小，若TS大于当前待显示时间N，则说明此待显示数据已经过期，对过期数据进行移除，不对其进行显示，且对待显示列表List=[(P1,T1),(P2,T2),...]中的每个数据的TS与当前待显示时间N进行大小比较。也可以遍历比较待显示列表List中的数据，比较每个数据的时间比值∆T = N-TS。如果∆T>0，则将该数据从待显示列表List中移除；如果∆T≤0，则执行步骤S35。

S36：病灶检测框在显示预设持续时间后，在第二画布上清除病灶检测框；其中，预设持续时间基于已训练的病灶检测模型的识别检测效率确定。

由于人眼的动态感知能力有限，一般以25帧/s图像合成的视频播放时，人眼感知是连续的画面。因此，显示预设持续时间后清除，人眼感知的病灶检测框也是连续显示的，以提供较好的病灶检测框显示效果。

在一个具体实施例中，病灶检测模型为YoloV3-608模型，病灶检测模型的平均识别耗时为50毫秒，由于模型预测耗时取决于硬件环境配置及实际运行状况，识别耗时是处于波动状态的，可能在30-70毫秒的范围内。病灶检测模型的识别检测效率则与识别耗时成反比例相关。比如识别检测效率F=1000/time，其中time为病灶检测模型的平均识别耗时，单位为毫秒。在此具体实施例中，time为50毫秒，识别检测效率F为20。步骤S31中的预设频率可以基于此识别检测效率F进行设定，比如，预设频率与识别检测效率F可以相同，此时取样的时间间隔与病灶检测模型的平均识别耗时相同，此时识别效率与取样的频率匹配，图像采集与识别检测实现平衡。取样的时间间隔可以稍大于病灶检测模型的平均识别耗时，避免过快的图像取样超过病灶识别模型的识别速度，导致过多的图像处于待病灶识别而导致整个显示方法不通畅。步骤S36中的预设持续时间也可以基于此识别检测效率F进行设定，比如，预设持续时间与病灶检测模型的平均识别耗时相同，此时病灶检测框显示与病灶识别的保持平衡，实现病灶检测框显示的连续性。预设持续时间也可以比病灶检测模型的平均识别耗时稍大，也能实现病灶检测框显示的连续性。若预设持续时间与灶检测模型的平均识别耗时相比过大，则会导致过多的待显示数据储存，病灶检测框的数据未及时显示甚至严重滞后，导致显示的病灶检测框的位置与视频画面中的病灶位置出现较大偏差，病灶检测框的显示不准确。

参阅图5，图5是本申请提供的病灶检测框的显示装置一实施例的框架示意图。显示装置50包括：

显示模块51，用于基于获取的内窥镜视频数据，在第一画布上生成并显示内窥镜视频数据对应的视频画面，以及用于响应于检测结果为识别出病灶和病灶位置数据，基于病灶位置数据在第二画布上生成并显示病灶检测框。

获取模块52，用于基于获取的内窥镜视频数据获取视频帧图像。

预处理模块53，用于对视频帧图像预处理，得到预处理图像。

识别检测模块54，用于利用已训练的病灶检测模型对预处理图像进行病灶识别检测，得到检测结果。

显示装置50通过对获取视频帧图像进行预处理然后使用病灶检测模型进行病灶识别检测，提高了病灶识别的精确度和准确性。在视频帧图像中识别处病灶且识别出病灶位置数据，第二画布在生成病灶检测框，而第一画布上基于获取的内窥镜视频数据在连续生成并显示视频画面，第一画布上的视频画面不会影响病灶检测框的显示，提高了病灶检测框的显示稳定性和连续性；同时由于提高了病灶识别以及病灶位置识别的准确性和效率，从而提高了病灶检测框对显示画面中病灶进行突出显示的准确性，提高了内窥镜下诊断的精确率及效率。

本申请的一些实施例中，显示模块51还用于基于实时获取的内窥镜视频数据，在第一画布上生成并显示内窥镜视频数据对应的视频画面。还用于响应于检测结果为识别出病灶和病灶位置数据，将病灶位置数据和视频帧图像对应的当前时间存储在待显示列表中；其中，视频帧图像对应的病灶位置数据和当前时间为一组待显示数据。以及用于从待显示列表中获取一组待显示数据，基于待显示数据中的病灶位置数据在第二画布中显示病灶检测框。以及用于病灶检测框在显示预设持续时间后，在第二画布上清除所述病灶检测框。其中，预设频率基于已训练的病灶检测模型的识别检测效率确定；预设持续时间基于已训练的病灶检测模型的识别检测效率确定。获取模块52还用于基于实时获取的内窥镜视频数据，以预设频率获取视频帧图像与视频帧图像对应的当前时间。

本申请的一些实施例中，显示模块51还用于待显示列表中包括有至少两组待显示数据时，将至少两组待显示数据动态合并为一组待显示数据。

本申请的一些实施例中，显示模块51还用于通过非极大值抑制算法，将至少两组待显示数据动态合并为一组待显示数据。

本申请的一些实施例中，显示模块51还用于基于待显示列表中的视频帧图像对应的当前时间、预设持续时间以及当前待显示时间，过滤去除待显示列表中已过期的待显示数据。

本申请的一些实施例中，识别检测模块54还用于获取初始目标检测模型及病灶训练集；利用病灶训练集对初始目标检测模型进行训练，得到病灶检测模型；利用病灶检测模型对预处理图像进行病灶识别检测，得到检测结果。

本申请的一些实施例中，预处理模块53还用于利用已训练的裁边网络模型对视频帧图像进行识别，得到有效信息区域；基于有效信息区域，对视频帧图像进行裁剪。

参阅图6，图6是本申请电子设备一实施例的框架示意图。电子设备60包括相互耦接的存储器61和处理器62，处理器62用于执行存储器61中存储的程序指令，以实现上述病灶检测框的显示方法任一实施例的步骤。在一个具体的实施场景中，电子设备60可以包括但不限于：显示装置、微型计算机、服务器。

具体而言，处理器62用于控制其自身以及存储器61以实现上述病灶检测框的显示方法任一实施例的步骤。处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器62可以由集成电路芯片共同实现。

上述方案，处理器62基于获取的内窥镜视频数据，在第一画布上生成并显示内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像；对视频帧图像预处理，得到预处理图像；利用已训练的病灶检测模型对预处理图像进行病灶识别检测，得到检测结果；响应于检测结果为识别出病灶和病灶位置数据，基于病灶位置数据在第二画布上生成并显示病灶检测框；其中，第二画布位于第一画布上层，且第二画布位为背景透明画布。对获取视频帧图像进行预处理然后使用病灶检测模型进行病灶识别检测，提高了病灶识别的精确度和准确性。在视频帧图像中识别处病灶且识别出病灶位置数据，第二画布在生成病灶检测框，而第一画布上基于获取的内窥镜视频数据在连续生成并显示视频画面，第一画布上的视频画面不会影响病灶检测框的显示，提高了病灶检测框的显示稳定性和连续性；同时由于提高了病灶识别以及病灶位置识别的准确性和效率，从而提高了病灶检测框对显示画面中病灶进行突出显示的准确性，提高了内窥镜下诊断的精确率及效率。

请参阅图7，图7是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令700，程序指令700用于实现上述任一病灶检测框的显示方法实施例的步骤。例如，程序指令700用于实现如下步骤：

基于获取的内窥镜视频数据，在第一画布上生成并显示内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像；对视频帧图像预处理，得到预处理图像；利用已训练的病灶检测模型对预处理图像进行病灶识别检测，得到检测结果；响应于检测结果为识别出病灶和病灶位置数据，基于病灶位置数据在第二画布上生成并显示病灶检测框；其中，第二画布位于第一画布上层，且第二画布位为背景透明画布。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请实施例所提供的一种基于深度学习的图像识别方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种病灶检测框的显示方法，其特征在于，所述显示方法包括：

基于获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像；

对所述视频帧图像预处理，得到预处理图像；

利用已训练的病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果；

响应于检测结果为识别出病灶和病灶位置数据，基于所述病灶位置数据在第二画布上生成并显示病灶检测框；

其中，所述基于获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及基于获取的内窥镜视频数据获取视频帧图像，包括：

基于实时获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及

基于实时获取的内窥镜视频数据，以预设频率获取视频帧图像与所述视频帧图像对应的当前时间；

所述响应于检测结果为识别出病灶和病灶位置数据，基于所述病灶位置数据在第二画布上生成并显示病灶检测框，包括：

响应于检测结果为识别出病灶和病灶位置数据，将所述病灶位置数据和所述视频帧图像对应的所述当前时间存储在待显示列表中；其中，所述视频帧图像对应的所述病灶位置数据和所述当前时间为一组待显示数据；

从所述待显示列表中获取一组所述待显示数据，基于所述待显示数据中的所述病灶位置数据在第二画布中显示病灶检测框；

所述从所述待显示列表中获取一组所述待显示数据，基于所述待显示数据中的所述病灶位置数据在第二画布中显示病灶检测框之后，还包括：

所述病灶检测框在显示预设持续时间后，在所述第二画布上清除所述病灶检测框；

所述第二画布位于所述第一画布上层，且所述第二画布为背景透明画布；所述预设频率基于所述已训练的病灶检测模型的识别检测效率确定；所述预设持续时间基于所述已训练的病灶检测模型的识别检测效率确定。

2.根据权利要求1所述的显示方法，其特征在于，所述待显示列表中包括有至少两组待显示数据；

所述从所述待显示列表中获取一组所述待显示数据，基于所述待显示数据中的所述病灶位置数据在第二画布中显示病灶检测框之前，还包括：

将所述至少两组待显示数据动态合并为一组待显示数据。

3.根据权利要求2所述的显示方法，其特征在于，所述将所述至少两组待显示数据动态合并为一组待显示数据，包括：

通过非极大值抑制算法，将所述至少两组待显示数据动态合并为一组待显示数据。

4.根据权利要求1所述的显示方法，其特征在于，所述从所述待显示列表中获取一组所述待显示数据，基于所述待显示数据中的所述病灶位置数据在第二画布中显示病灶检测框之前，还包括：

基于所述待显示列表中的所述视频帧图像对应的所述当前时间、所述预设持续时间以及当前待显示时间，过滤去除所述待显示列表中已过期的所述待显示数据。

5.根据权利要求1所述的显示方法，其特征在于，所述利用已训练的病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果，包括：

获取初始目标检测模型及病灶训练集；

利用所述病灶训练集对所述初始目标检测模型进行训练，得到所述病灶检测模型；

利用所述病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果。

6.根据权利要求1所述的显示方法，其特征在于，所述对所述视频帧图像预处理，得到预处理图像，包括：

利用已训练的裁边网络模型对所述视频帧图像进行识别，得到有效信息区域；

基于所述有效信息区域，对所述视频帧图像进行裁剪。

7.一种病灶检测框的显示装置，其特征在于，所述显示装置包括：

显示模块，用于基于获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面；

获取模块，用于基于获取的内窥镜视频数据获取视频帧图像，以及用于基于实时获取的内窥镜视频数据，以预设频率获取视频帧图像与所述视频帧图像对应的当前时间；

预处理模块，用于对所述视频帧图像预处理，得到预处理图像；

识别检测模块，用于利用已训练的病灶检测模型对所述预处理图像进行病灶识别检测，得到检测结果；

所述显示模块还用于响应于检测结果为识别出病灶和病灶位置数据，基于所述病灶位置数据在第二画布上生成并显示病灶检测框，用于基于实时获取的内窥镜视频数据，在第一画布上生成并显示所述内窥镜视频数据对应的视频画面，以及用于响应于检测结果为识别出病灶和病灶位置数据，将所述病灶位置数据和所述视频帧图像对应的所述当前时间存储在待显示列表中；其中，所述视频帧图像对应的所述病灶位置数据和所述当前时间为一组待显示数据；用于从所述待显示列表中获取一组所述待显示数据，基于所述待显示数据中的所述病灶位置数据在第二画布中显示病灶检测框；还用于所述病灶检测框在显示预设持续时间后，在所述第二画布上清除所述病灶检测框；其中，所述第二画布位于所述第一画布上层，且所述第二画布为背景透明画布。

8.一种电子设备，其特征在于，所述电子设备包括互相耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至6中任一项所述的病灶检测框的显示方法。

9.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被处理器执行时实现权利要求1至6任一项所述的病灶检测框的显示方法。

Images