CN117711581A - 一种自动添加书签的方法、***、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种自动添加书签的方法、***、电子设备及存储介质，在回撤过程中，当采集到单帧图像时，通过预训练的特征识别模型对单帧图像进行特征识别，得到单帧图像的特征识别结果，直至回撤结束，得到多个单帧图像的特征识别结果；根据多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；从特征识别结果数据集中确定特征类别相同的多个特征；对特征类别相同的多个特征进行分析，得到特征类别的分析结果；根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个单帧图像中确定兴趣帧图像；在兴趣帧图像对应的序号上添加对应的书签，以便用户通过书签查看对应的兴趣帧图像。

Description

一种自动添加书签的方法、***、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，更具体地说，涉及一种自动添加书签的方法、***、电子设备及存储介质。

背景技术

目前的血管内超声成像工作流程中，回撤中相对比较重要的两个环节；在执行回撤过程中，医师需要时刻关注成像，以便在发现兴趣帧图像的时候，手动或者通知助手手动在兴趣帧图像上标记对应的书签。

但是，由于回撤过程是无法间断的，而人工发现并手动标记对应的书签存在一定的时间差，从而导致实际上标记书签的兴趣帧图像与发现的兴趣帧图像并不一致，尤其是在高回撤速度场景下，这种状况更为明显。

因此，如何提供一种自动添加书签的方式，以保证实际上标记书签的兴趣帧图像与发现的兴趣帧图像保持一致，是本申请当前亟需解决的问题。

发明内容

有鉴于此，本发明提供一种自动添加书签的方法、***、电子设备及存储介质，以保证实际上标记书签的兴趣帧图像与发现的兴趣帧图像保持一致为目的。

本发明第一方面提供一种自动添加书签的方法，所述方法包括：

在回撤过程中，当采集到单帧图像时，通过预训练的特征识别模型对所述单帧图像进行特征识别，得到所述单帧图像的特征识别结果，直至回撤结束，得到多个单帧图像的特征识别结果；其中，所述特征识别模型是利用历史图像数据对待训练的Unet模型进行训练得到；所述单帧图像的特征识别结果包括所述单帧图像的每个特征及其特征类别；

根据所述多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；其中，所述特征识别结果数据集包括每个所述单帧图像的特征识别结果及序号；

从所述特征识别结果数据集中确定特征类别相同的多个所述特征；

对特征类别相同的多个特征进行分析，得到特征类别的分析结果；

根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个所述单帧图像中确定兴趣帧图像；

在所述兴趣帧图像对应的序号上添加对应的书签，以便用户通过书签查看对应的所述兴趣帧图像。

可选的，若特征类别为管腔横截面积类别；

所述对特征类别相同的多个特征进行分析，得到特征类别的分析结果，包括：

针对特征类别为所述管腔横截面积类别的每个特征，获取所述特征的管腔横截面积；

确定特征类别为所述管腔横截面积类别的各个特征中管腔横截面积最小的特征，并根据管腔横截面积最小的特征生成所述管腔横截面积类别的分析结果。

可选的，若特征类别为支架类别；

所述对特征类别相同的多个特征进行分析，得到特征类别的分析结果，包括：

从特征类别为所述支架类别的各个特征中，确定至少一个第一特征组；其中，所述第一特征组包括连续的多个特征类别为支架类别的特征；

针对每个所述第一特征组，从所述第一特征组的多个特征中确定出起始帧特征和结束帧特征；

根据各个所述第一特征组的起始帧特征和结束帧特征，生成所述支架类别的分析结果。

可选的，若特征类别为斑块类别；

所述对特征类别相同的多个特征进行分析，得到特征类别的分析结果，包括：

从特征类别为所述斑块类别的各个特征中，确定至少一个第二特征组；其中，所述第二特征组包括连续的多个特征类别为斑块类别的特征；

针对每个所述第二特征组中的每个特征，获取所述特征的管腔横截面积和外弹力膜横截面积，并根据所述特征的管腔横截面积和外弹力膜横截面积，计算所述特征的斑块面积；

根据每个所述第二特征组中的各个特征的斑块面积，从每个所述第二特征组中确定目标特征，并根据每个所述目标特征生成所述斑块类别的分析结果。

可选的，所述方法还包括：

获取整个回放过程对应的图像数据；其中，所述图像数据包括依序排列的多个单帧图像；

针对每帧所述单帧图像，通过所述特征识别模型对所述单帧图像进行特征识别，得到所述单帧图像的特征识别结果。

可选的，所述利用历史图像数据对待训练的Unet模型进行训练得到所述特征识别模型，包括：

获取历史图像数据；其中，所述历史图像数据包括多帧历史图像，以及每帧所述历史图像包括每个历史特征的标准特征类别；

针对每帧所述历史图像，将所述历史图像输入待训练的Unet模型中，使所述待训练的Unet模型对所述历史图像进行特征识别，得到所述历史图像的每个历史特征及其特征类别，以每个所述历史特征的特征类别趋近于每个所述历史特征的标准特征类别为训练目标，对所述待训练的Unet模型的参数进行调整，直至所述待训练的Unet模型达到收敛，得到所述特征识别模型。

可选的，得到所述特征识别模型之后，所述方法还包括：

将所述特征识别模型部署至血管内超声软件***中，并在所述血管内超声软件***中配置所述特征识别模型对应的模型调用接口。

本发明第二方面提供一种自动添加书签的***，所述***包括：

第一特征识别单元，用于在回撤过程中，当采集到单帧图像时，通过预训练的特征识别模型对所述单帧图像进行特征识别，得到所述单帧图像的特征识别结果，直至回撤结束，得到多个单帧图像的特征识别结果；其中，所述特征识别模型是利用历史图像数据对待训练的Unet模型进行训练得到；所述单帧图像的特征识别结果包括所述单帧图像的每个特征及其特征类别；

特征识别结果数据集生成单元，用于根据所述多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；其中，所述特征识别结果数据集包括每个所述单帧图像的特征识别结果及序号；

第一确定单元，用于从所述特征识别结果数据集中确定特征类别相同的多个所述特征；

分析单元，用于对特征类别相同的多个特征进行分析，得到特征类别的分析结果；

第二确定单元，用于根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个所述单帧图像中确定兴趣帧图像；

书签添加单元，用于在所述兴趣帧图像对应的序号上添加对应的书签，以便用户通过书签查看对应的所述兴趣帧图像。

本发明第三方面提供一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如本发明第一方面提供的自动添加书签的方法。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如本发明第一方面提供的自动添加书签的方法。

本发明提供一种自动添加书签的方法、***、电子设备及存储介质，预先利用历史成像数据对待训练的Unet模型进行训练得到特征识别模型，以便在血管内超声成像***的回撤过程中，当采集到单帧图像时，利用特征识别模型对单帧图像进行特征识别，得到该单帧图像的特征识别结果，直至回撤结束时，将得到的多个单帧图像的特征识别结果组成一个特征识别结果数据集；综合分析特征结果数据集，以从多个特征识别结果中找到医师预先设置的目标特征类别匹配的目标分析结果，并根据该目标分析结果从各个单帧图像中找到医师感兴趣的兴趣帧图像，并在该兴趣帧图像的序号上自动添加对应的书签，整个过程无需医师时刻关注成像寻找兴趣帧图像和手动在发现的兴趣帧图像上放置对应的书签，避免出现书签放置遗漏以及实际上标记书签的兴趣帧图像与发现的兴趣帧图像并不一致的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种自动添加书签的方法的流程示意图；

图2为本发明实施例提供的一种自动添加书签的方法的示例图；

图3为本发明实施例提供的另一种自动添加书签的方法的示例图；

图4为本发明实施例提供的一种自动添加书签的***的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本发明公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

在现有的血管内超声成像***的回撤过程中，一般都是需要医师时刻关注整个回撤过程中的图像，以便筛选出兴趣帧图像，并手动在筛选出的兴趣帧图像上放置对应的书签。这种方式不仅会存在书签放置遗漏和实际上标记书签的兴趣帧图像与发现的兴趣帧图像并不一致的情况，而且还是一个相对重复和耗时的过程，在一定程度上影响了手术的效率。

因此，本发明实施例提供一种自动添加书签的方法、***、电子设备及存储介质，预先利用历史成像数据对待训练的Unet模型进行训练得到特征识别模型，以便在血管内超声成像***的回撤过程中，当采集到单帧图像时，利用特征识别模型对单帧图像进行特征识别，得到该单帧图像的特征识别结果，直至回撤结束时，将得到的多个单帧图像的特征识别结果组成一个特征识别结果数据集；综合分析特征结果数据集，以从多个特征识别结果中找到医师预先设置的目标特征类别匹配的目标分析结果，并根据该目标分析结果从各个单帧图像中找到医师感兴趣的兴趣帧图像，从而实现回撤过程中书签的自动放置，无需医生时刻关注整个回撤过程中的图像，减少了耗时以及减轻了医师的负担，从而提高手术效率，并且，整个过程也无需医师手动放置对应的书签，避免出现书签放置遗漏以及实际上标记书签的兴趣帧图像与发现的兴趣帧图像并不一致的情况。

参见图1，示出了本发明实施例提供的一种自动添加书签的方法的流程示意图，该自动添加书签的方法可以应用于血管内超声软件***，该方法具体包括以下步骤：

S101：在回撤过程中，当采集到单帧图像时，通过预训练的特征识别模型对单帧图像进行特征识别，得到单帧图像的特征识别结果，直至回撤结束，得到多个单帧图像的特征识别结果。

在本申请实施例中，可以预先利用历史图像数据对待训练的Unet模型进行训练，得到相应的特征识别模型。

可选的，可以通过获取历史图像数据；其中，历史图像数据包括多帧历史图像，以及每帧历史图像包括每个历史特征的标准特征类别；针对每帧历史图像，将历史图像输入待训练的Unet模型中，使待训练的Unet模型对历史图像进行特征识别，得到历史图像的每个历史特征及其特征类别，以每个历史特征的特征类别趋近于每个历史特征的标准特征类别为训练目标，对待训练的Unet模型的参数进行调整，直至待训练的Unet模型达到收敛，得到特征识别模型。

需要说明的是，针对历史图像数据中的每帧历史图像，可以通过人工预先识别出每帧历史图像中的每个历史特征，并设置每个历史特征对应的标准特征类别。

还需要说明的是，历史特征的标准特征类别可以为管腔横截面积类别、斑块类别、支架类别等等，在此本发明实施例不加以限定。

具体而言，可以通过分析各个用户（医师）历史关注的兴趣帧图像主要包括哪些特征，以便收集整理包含相关特征的历史图像数据，在收集到历史图像数据之后，识别出历史图像数据中每帧历史图像中用户所关注的历史特征，并为每个历史特征设置对应的标准特征类别。

根据每帧历史图像及其每个历史特征的标准特征类别生成相应的训练数据集和测试数据集；并将训练数据集中的每帧历史图像依次输入待训练的Unet模型中，使待训练的Unet模型依次对每帧历史图像进行特征识别，得到每帧历史图像的每个历史特征及其特征类别，以每帧历史图像的每个历史特征的特征类别趋近于每个历史特征的标准特征类别为训练目标，对待训练的Unet模型的参数进行调整，直至待训练的Unet模型达到收敛，得到初始特征识别模型。最后利用测试数据集对得初始特征识别模型进行验证，在确定初始特征识别模型的特征识别准确度不小于预设特征识别准确度的情况下，将初始特征识别模型确定为特征识别模型；否则，重新收集新的历史图像数据，并新收集的历史图像数据继续对初始特征识别模型进行训练，直至得到的初始特征识别模型的特征识别准确度不小于预设特征识别准确度为止。

需要说明的是，历史图像数据可以为历史临床图像数据，在此本发明实施例不加以限定。

还需要说明的是，特征的特征类别可以为管腔横截面积类别、斑块类别、支架类别等等，在此本发明实施例不加以限定，

在一些实施例中，由于本发明是通过识别出每帧历史图像中的特征，并将历史图像中的特征提取出来，属于图像分割模型，因此，可以确定使用的待训练的神经网络可以为待训练的图像语义分割模型。结合本发明涉及的医学图像特征，以及Unet模型框架中评估函数的参数特点，将待训练的图像语义分割模型确定待训练的Unet模型，也就是说，Unet模型是一种用于图像语义分割的深度学习网络模型。

进一步的，在本发明实施例中，在得到对应的特征识别模型之后，还可以将得到的特征识别模型部署值血管内超声软件***中，并在血管内超声软件***中配置该特征识别模型对应的模型调用接口；同时，还可以在血管内超声软件***中增加该特征识别模型对应的模型调用业务。

在本发明实施例中，在血管内超声软件***的回撤过程中，当采集到单帧图像时，可以通过模型调用业务调用模型调用接口将采集到的单帧图像导入特征识别模型中，以使特征识别模型对导入的单帧图像进行特征识别，得到该单帧图像的特征识别结果，直至回撤结束，得到整个回撤过程中采集到的每个单帧图像的特征识别结果；也就是说，在血管内超声软件***的回撤过程中，每采集到一张单帧图像，就可以通过模型调用业务调用模型调用接口将采集到的单帧图像导入特征识别模型中，以使特征识别模型对导入的单帧图像进行特征识别，得到该单帧图像的特征识别结果，直至回撤结束，得到整个回撤过程中采集到的每张单帧图像的特征识别结果。

其中，单帧图像的特征识别结果包括单帧图像的每个特征及其特征类别。

在一些实施例中，在将采集到的单帧图像导入特征识别模型之前，还可以对采集到的单帧图像进行预处理，以便将预处理后的单帧图像导入特征识别模型，使特征识别模型对导入的单帧图像进行特征识别，得到该单帧图像的特征识别结果；其中，导入的单帧图像为进行预处理后的单帧图像。

需要说明的是，对单帧图像进行预处理的过程至少可以包括对单帧图像进行除噪、几何变换等等，在此本发明实施例不加以限定。

S102：根据多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；其中，特征识别结果数据集包括每个单帧图像的特征识别结果及序号。

在具体执行步骤S102的过程中，在得到整个回撤过程中的各个单帧图像的特征识别结果时候，可以确定各个单帧图像的采集顺序，以便根据每个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；其中，特征识别结果数据集包括每个单帧图像的特征识别结果及序号。

S103：从特征识别结果数据集中确定特征类别相同的多个特征，并对特征类别相同的多个特征进行分析，得到特征类别的分析结果。

在具体执行步骤S103的过程中，在得到特征识别结果数据集之后，针对预先设置的每个特征类别而言，可以从特征识别结果数据集中确定每个特征类别下的多个特征，以便对每个特征类别下的多个特征进行分析，得到每个特征类别的分析结果。

需要说明的是，预先设置的各个特征类别可以包括支架类别、斑块类别、管腔横截面积类别等等，在此本发明实施例不加以限定。

作为本发明实施例提供的一种实现方式，若特征类别为管腔横截面积类别，对特征类别相同的多个特征进行分析，得到特征类别的分析结果的过程具体可以为：针对特征类别为管腔横截面积类别的每个特征，获取该特征的管腔横截面积；确定特征类别为管腔横截面积类别的各个特征中管腔横截面积最小的特征，并根据管腔横截面积最小的特征生成管腔横截面积类别的分析结果。

在本发明实施例中，针对特征类别为管腔横截面积类别的每个特征，可以从各个特征中找出管腔横截面积最小的特征，并将管腔横截面积最小的特征对应的单帧图像作为管腔横截面积类别的分析结果，以便在确定管腔横截面积类别为医师预先设置的感兴趣的目标特征类别时，可以将管腔横截面积最小的单帧图像作为兴趣帧图像，从而使医师在关注兴趣帧图像时，可以快速的了解管腔横截面积最小的单帧图像，能够在一定程度上提升医师的手术效率。

作为本发明实施例提供的另一种实现方式，若特征类别为支架类别，对特征类别相同的多个特征进行分析，得到特征类别的分析结果的过程具体可以为：从特征类别为支架类别的各个特征中，确定至少一个第一特征组；其中，特征组包括连续的多个特征类别为支架类别的特征；针对每个第一特征组，从第一特征组的多个特征中确定出起始帧特征和结束帧特征；根据各个第一特征组的起始帧特征和结束帧特征，生成支架类别的分析结果。

需要说明的是，特征类别为支架类别的特征对应的单帧图像中存在支架。

还需要说明的是，针对每个第一特征组而言，该第一特征组中的起始帧特征可以为该第一特征组中连续的多个特征中的第一个特征，结束帧特征为连续的多个特征中的最后一个特征。

在一些实施例中，在确定出存在连续多个特征的至少一个第一特征组之后，可以将各个第一特征组中的起始帧特征对应的单帧图像和结束帧特征对应的单帧图像作为支架类别的分析结果。

在另一些实施例中，可以将各个第一特征组中的任意一个第一特征组的起始帧特征对应的单帧图像和结束帧特征对应的单帧图像作为支架类别的分析结果，以便在确定支架类别为医师预先设置的感兴趣的目标特征类别时，可以将存在支架的起始的单帧图像和结束的单帧图像作为兴趣帧图像，从而使医师在关注兴趣帧图像时，可以快速的了解支架的起始点和结束点，能够在一定程度上提升医师的手术效率。

以上仅仅是本发明实施例提供的生成支架类别的分析结果的优选方式，有关于支架类别的分析结果的具体生成方式，在此本发明实施例不加以限定。

作为本发明实施例提供又一种实现方式，若特征类别为斑块类别，对特征类别相同的多个特征进行分析，得到特征类别的分析结果的过程具体可以为：从特征类别为所述斑块类别的各个特征中，确定至少一个第二特征组；其中，所述第二特征组包括连续的多个特征类别为斑块类别的特征；针对每个所述第二特征组中的每个特征，获取所述特征的管腔横截面积和外弹力膜横截面积，并根据所述特征的管腔横截面积和外弹力膜横截面积，计算所述特征的斑块面积；根据每个所述第二特征组中的各个特征的斑块面积，从各个每个第二特征组中确定目标特征，并根据每个目标特征生成所述斑块类别的分析结果。

在本发明实施例中，针对第二特征组中的每个特征，可以将该特征的管腔横截面积减去外弹力膜横截面积，得到该特征的斑块面积；针对每个第二特征组，将该第二特征组中斑块面积最大的特征确定为该第二特征组的目标特征，并将每个目标特征对应的单帧图像作为斑块类别的分析结果，以便在确定斑块类别为医师预先设置的感兴趣的目标特征类别时，将斑块面积最大的各个目标特征对应的单帧图像作为兴趣帧图像，使医师在关注兴趣帧图像时，可以快速在找到斑块面积最大的兴趣帧图像，能够在一定程度上提升医师的手术效率。

S104：根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个单帧图像中确定兴趣帧图像。

在具体执行步骤S104的过程中，医师可以预先设置自己感兴趣的至少一个目标特征类别，以便在得到每个特征类别的分析结果之后，可以从各个特征类别的分析结果中与目标特征类别一致的目标分析结果，并将目标分析结果中的单帧图像确定为医师感兴趣的兴趣帧图像，无需医师关注整个回撤过程中的成像，减少耗时以及减轻了医师的负担，从而达到提升手术效率的目的。

需要说明的是，确定的兴趣帧图像可以为一张也可以为多张，在此本发明实施例不加以限定。

S105：在兴趣帧图像对应的序号上添加对应的书签，以便用户通过书签查看对应的兴趣帧图像。

在具体执行步骤S105的过程中，在确定出兴趣帧图像之后，可以自动在确定出的兴趣帧图像对应的序号上添加对应的书签，无需手动添加，从而出现书签放置遗漏以及实际上标记书签的兴趣帧图像与发现的兴趣帧图像并不一致的情况，并且医师在通过序号上的书签可以快速查看到对应的兴趣帧图像。

本发明实施例提供一种自动添加书签的方法，预先利用历史成像数据对待训练的Unet模型进行训练得到特征识别模型，以便在血管内超声成像***的回撤过程中，当采集到单帧图像时，利用特征识别模型对单帧图像进行特征识别，得到该单帧图像的特征识别结果，直至回撤结束时，将得到的多个单帧图像的特征识别结果组成一个特征识别结果数据集；综合分析特征结果数据集，以从多个特征识别结果中找到医师预先设置的目标特征类别匹配的目标分析结果，并根据该目标分析结果从各个单帧图像中找到医师感兴趣的兴趣帧图像，从而实现回撤过程中书签的自动放置，无需医生时刻关注整个回撤过程中的图像，减少了耗时以及减轻了医师的负担，从而提高手术效率，并且，整个过程也无需医师手动放置对应的书签，避免出现书签放置遗漏以及实际上标记书签的兴趣帧图像与发现的兴趣帧图像并不一致的情况。

为了很好为对上述本发明实施例提供的内容进行理解，下面进行解释说明，如图2所示。

A1：利用历史图像数据对待训练的Unet模型进行训练得到对应的特征识别模型。

A2：当检测到当前正在执行回撤时，可以判断回撤是否结束；如果回撤未结束，执行A3；如果回撤结束，执行A5。

A3：采集单帧图像，并通过模型调用业务调用模型调用接口将采集到的单帧图像导入特征识别模型。

A4：通过特征识别模型对导入的单帧图像进行特征识别，得到该单帧图像的特征识别结果，并返回执行A2。

A5：根据多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集，并从特征识别结果数据集中确定特征类别相同的多个特征；对特征类别相同的多个特征进行分析，得到特征类别的分析结果；根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个单帧图像中确定兴趣帧图像。

A6：在兴趣帧图像对应的序号上添加对应的书签并显示对应的书签。

进一步的，在本发明实施例中，医师在通过书签查看对应的兴趣帧图像时，可以对看到的兴趣帧图像进行分析和测量，如果对看到的兴趣帧图像不满意，可以将该兴趣帧图像上的书签删除，并通过手动的方式在对应的兴趣帧图像上添加书签。

在本发明实施例中，如果回撤过程结束时，没有添加书签的兴趣帧图像，可以在回看对应的图像序列时，调用本发明提供的自动添加书签的方法，遍历图像序列中的每个单帧图像，重新自动添加书签。其中，回看可以为回放过程。

可选的，获取整个回放过程对应的图像数据；其中，图像数据包括依序排列的多个单帧图像；针对每帧单帧图像，通过特征识别模型对单帧图像进行特征识别，得到单帧图像的特征识别结果；根据多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；从特征识别结果数据集中确定特征类别相同的多个特征；对特征类别相同的多个特征进行分析，得到特征类别的分析结果；根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个单帧图像中确定兴趣帧图像；在兴趣帧图像对应的序号上添加对应的书签，以便用户通过书签查看对应的兴趣帧图像。其中，对特征类别相同的多个特征进行分析、确定兴趣帧图像和在兴趣帧图像对应的序号上添加对应的书签的过程可以参见上述本发明提供的实施例中对应的内容，在此本发明实施例不再进行赘述。

具体而言，参见图3，首先，可以利用历史图像数据对待训练的Unet模型进行训练得到对应的特征识别模型。其次，获取整个回放过程对应的图像数据（图像序列），其中，图像数据包括依序排列的多个单帧图像；并通过模型调用业务调用模型调用接口将各个单帧图像逐帧的导入特征识别模型。再次，通过特征识别模型依次对导入的单帧图像进行特征识别，并返回每个单帧图像的特征识别结果；从次，根据多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集，以从特征识别结果数据集中确定特征类别相同的多个特征；对特征类别相同的多个特征进行分析，得到特征类别的分析结果，并根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个单帧图像中确定兴趣帧图像；最后，在兴趣帧图像对应的序号上添加对应的书签并显示对应的书签。

基于上述本发明实施例提供的自动添加书签的方法，相应的，本发明实施例还提供了一种自动添加书签的***，如图4所示，该自动添加书签的***包括：

第一特征识别单元41，用于在回撤过程中，当采集到单帧图像时，通过预训练的特征识别模型对单帧图像进行特征识别，得到单帧图像的特征识别结果，直至回撤结束，得到多个单帧图像的特征识别结果；其中，特征识别模型是训练单元利用历史图像数据对待训练的Unet模型进行训练得到；单帧图像的特征识别结果包括单帧图像的每个特征及其特征类别；

特征识别结果数据集生成单元42，用于根据多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；其中，特征识别结果数据集包括每个单帧图像的特征识别结果及序号；

第一确定单元43，用于从特征识别结果数据集中确定特征类别相同的多个特征；

分析单元44，用于对特征类别相同的多个特征进行分析，得到特征类别的分析结果；

第二确定单元45，用于根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个单帧图像中确定兴趣帧图像；

书签添加单元46，用于在兴趣帧图像对应的序号上添加对应的书签，以便用户通过书签查看对应的兴趣帧图像。

上述本发明实施例公开的自动添加书签的***中各个单元具体的原理和执行过程，与上述本发明实施例公开的自动添加书签的方法相同，可参见上述本发明实施例公开的自动添加书签的方法中相应的部分，这里不再进行赘述。

本发明实施例提供一种自动添加书签的***，预先利用历史成像数据对待训练的Unet模型进行训练得到特征识别模型，以便在血管内超声成像***的回撤过程中，当采集到单帧图像时，利用特征识别模型对单帧图像进行特征识别，得到该单帧图像的特征识别结果，直至回撤结束时，将得到的多个单帧图像的特征识别结果组成一个特征识别结果数据集；综合分析特征结果数据集，以从多个特征识别结果中找到医师预先设置的目标特征类别匹配的目标分析结果，并根据该目标分析结果从各个单帧图像中找到医师感兴趣的兴趣帧图像，并在该兴趣帧图像的序号上自动添加对应的书签，整个过程无需医师时刻关注成像寻找兴趣帧图像和手动在发现的兴趣帧图像上放置对应的书签，避免出现书签放置遗漏以及实际上标记书签的兴趣帧图像与发现的兴趣帧图像并不一致的情况。

可选的，若特征类别为管腔横截面积类别，分析单元，包括：

第一获取单元，用于针对特征类别为管腔横截面积类别的每个特征，获取特征的管腔横截面积；

第一分析结果生成单元，用于确定特征类别为管腔横截面积类别的各个特征中管腔横截面积最小的特征，并根据管腔横截面积最小的特征生成管腔横截面积类别的分析结果。

可选的，若特征类别为支架类别，分析单元，包括：

第三确定单元，用于从特征类别为支架类别的各个特征中，确定至少一个第一特征组；其中，第一特征组包括连续的多个特征类别为支架类别的特征；

第四确定单元，用于针对每个第一特征组，从第一特征组的多个特征中确定出起始帧特征和结束帧特征；

第二分析结果生成单元，用于根据各个第一特征组的起始帧特征和结束帧特征，生成支架类别的分析结果。

可选的，若特征类别为斑块类别，分析单元，包括：

第二获取单元，用于从特征类别为斑块类别的各个特征中，确定至少一个第二特征组；其中，第二特征组包括连续的多个特征类别为斑块类别的特征；

计算单元，用于针对每个第二特征组中的每个特征，获取特征的管腔横截面积和外弹力膜横截面积，并根据特征的管腔横截面积和外弹力膜横截面积，计算特征的斑块面积；

第三分析结果生成单元，用于根据每个第二特征组中的各个特征的斑块面积，从每个第二特征组中确定目标特征，并根据每个目标特征生成斑块类别的分析结果。

可选的，本发明实施例提供的自动添加书签的***，还包括：

图像数据获取单元，用于获取整个回放过程对应的图像数据；其中，图像数据包括依序排列的多个单帧图像；

第二特征识别单元，用于针对每帧单帧图像，通过特征识别模型对单帧图像进行特征识别，得到单帧图像的特征识别结果。

可选的，训练单元，包括：

历史图像数据获取单元，用于获取历史图像数据；其中，历史图像数据包括多帧历史图像，以及每帧历史图像包括每个历史特征的标准特征类别；

训练子单元，用于针对每帧历史图像，将历史图像输入待训练的Unet模型中，使待训练的Unet模型对历史图像进行特征识别，得到历史图像的每个历史特征及其特征类别，以每个历史特征的特征类别趋近于每个历史特征的标准特征类别为训练目标，对待训练的Unet模型的参数进行调整，直至待训练的Unet模型达到收敛，得到特征识别模型。

可选的，本发明实施例提供的自动添加书签的***，还包括：

配置单元，用于将特征识别模型部署至血管内超声软件***中，并在血管内超声软件***中配置特征识别模型对应的模型调用接口。

本申请实施例提供了一种电子设备，如图5所示，电子设备包括处理器501和存储器502，存储器502用于存储自动添加书签的程序代码和数据，处理器501用于调用存储器中的程序指令执行实现如上述实施例中自动添加书签的方法所示的步骤。

本申请实施例提供了一种存储介质，存储介质包括存储程序，其中，在程序运行时控制存储介质所在设备执行上述实施例示出的自动添加书签的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种自动添加书签的方法，其特征在于，所述方法包括：

在回撤过程中，当采集到单帧图像时，通过预训练的特征识别模型对所述单帧图像进行特征识别，得到所述单帧图像的特征识别结果，直至回撤结束，得到多个单帧图像的特征识别结果；其中，所述特征识别模型是利用历史图像数据对待训练的Unet模型进行训练得到；所述单帧图像的特征识别结果包括所述单帧图像的每个特征及其特征类别；

根据所述多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；其中，所述特征识别结果数据集包括每个所述单帧图像的特征识别结果及序号；

从所述特征识别结果数据集中确定特征类别相同的多个所述特征；

对特征类别相同的多个特征进行分析，得到特征类别的分析结果；

根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个所述单帧图像中确定兴趣帧图像；

在所述兴趣帧图像对应的序号上添加对应的书签，以便用户通过书签查看对应的所述兴趣帧图像。

2.根据权利要求1所述的方法，其特征在于，若特征类别为管腔横截面积类别；

所述对特征类别相同的多个特征进行分析，得到特征类别的分析结果，包括：

针对特征类别为所述管腔横截面积类别的每个特征，获取所述特征的管腔横截面积；

确定特征类别为所述管腔横截面积类别的各个特征中管腔横截面积最小的特征，并根据管腔横截面积最小的特征生成所述管腔横截面积类别的分析结果。

3.根据权利要求1所述的方法，其特征在于，若特征类别为支架类别；

所述对特征类别相同的多个特征进行分析，得到特征类别的分析结果，包括：

从特征类别为所述支架类别的各个特征中，确定至少一个第一特征组；其中，所述第一特征组包括连续的多个特征类别为支架类别的特征；

针对每个所述第一特征组，从所述第一特征组的多个特征中确定出起始帧特征和结束帧特征；

根据各个所述第一特征组的起始帧特征和结束帧特征，生成所述支架类别的分析结果。

4.根据权利要求1所述的方法，其特征在于，若特征类别为斑块类别；

所述对特征类别相同的多个特征进行分析，得到特征类别的分析结果，包括：

从特征类别为所述斑块类别的各个特征中，确定至少一个第二特征组；其中，所述第二特征组包括连续的多个特征类别为斑块类别的特征；

针对每个所述第二特征组中的每个特征，获取所述特征的管腔横截面积和外弹力膜横截面积，并根据所述特征的管腔横截面积和外弹力膜横截面积，计算所述特征的斑块面积；

根据每个所述第二特征组中的各个特征的斑块面积，从每个所述第二特征组中确定目标特征，并根据每个所述目标特征生成所述斑块类别的分析结果。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取整个回放过程对应的图像数据；其中，所述图像数据包括依序排列的多个单帧图像；

针对每帧所述单帧图像，通过所述特征识别模型对所述单帧图像进行特征识别，得到所述单帧图像的特征识别结果。

6.根据权利要求1所述的方法，其特征在于，所述利用历史图像数据对待训练的Unet模型进行训练得到所述特征识别模型，包括：

获取历史图像数据；其中，所述历史图像数据包括多帧历史图像，以及每帧所述历史图像包括每个历史特征的标准特征类别；

针对每帧所述历史图像，将所述历史图像输入待训练的Unet模型中，使所述待训练的Unet模型对所述历史图像进行特征识别，得到所述历史图像的每个历史特征及其特征类别，以每个所述历史特征的特征类别趋近于每个所述历史特征的标准特征类别为训练目标，对所述待训练的Unet模型的参数进行调整，直至所述待训练的Unet模型达到收敛，得到所述特征识别模型。

7.根据权利要求6所述的方法，其特征在于，得到所述特征识别模型之后，所述方法还包括：

将所述特征识别模型部署至血管内超声软件***中，并在所述血管内超声软件***中配置所述特征识别模型对应的模型调用接口。

8.一种自动添加书签的***，其特征在于，所述***包括：

第一特征识别单元，用于在回撤过程中，当采集到单帧图像时，通过预训练的特征识别模型对所述单帧图像进行特征识别，得到所述单帧图像的特征识别结果，直至回撤结束，得到多个单帧图像的特征识别结果；其中，所述特征识别模型是利用历史图像数据对待训练的Unet模型进行训练得到；所述单帧图像的特征识别结果包括所述单帧图像的每个特征及其特征类别；

特征识别结果数据集生成单元，用于根据所述多个单帧图像的采集顺序及其特征识别结果生成特征识别结果数据集；其中，所述特征识别结果数据集包括每个所述单帧图像的特征识别结果及序号；

第一确定单元，用于从所述特征识别结果数据集中确定特征类别相同的多个所述特征；

分析单元，用于对特征类别相同的多个特征进行分析，得到特征类别的分析结果；

第二确定单元，用于根据各个特征类别的分析结果中与预先设置的目标特征类别匹配的目标分析结果，从各个所述单帧图像中确定兴趣帧图像；

书签添加单元，用于在所述兴趣帧图像对应的序号上添加对应的书签，以便用户通过书签查看对应的所述兴趣帧图像。

9.一种电子设备，其特征在于，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如权利要求1-7任一项所述的自动添加书签的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1-7任一项所述的自动添加书签的方法。