CN111227864B - 使用超声图像利用计算机视觉进行病灶检测的装置 - Google Patents

Abstract

本申请涉及一种使用超声图像利用计算机视觉技术进行病灶检测的装置，包括从医用超声设备上直接采集视频信号获得超声图像；实时对每一帧超声图像进行的病灶检测，对超声图像做前景和背景的分离处理，将检测到的病灶区域进行标记；利用病灶检测获得的标记从原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；判断疑似病灶的截图中的病灶是否为真实病灶，并对确认后的病灶进行分类；读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。本发明能够适配当前超声诊断的场景，有效的辅助医生识别出视频帧图像中的病灶，提高诊断效率和准确性。

Description

使用超声图像利用计算机视觉进行病灶检测的装置

技术领域

本申请涉及超声图像分析技术领域，特别是涉及一种使用超声图像利用计算机视觉技术进行病灶检测的装置。

背景技术

超声波检查(US检查)是利用人体对超声波的反射进行观察。一般称为US的超声波检查，是用弱超声波照射到身体上，将组织的反射波进行图像化处理。相关技术中，超声检查已成为一种重要且无创性显示人体脏器结构和运动功能的检测方法。医用超声设备造价低廉，在各级医院和体检中心均有使用。超声检查费用低廉，已成为多种疾病早期筛查诊断的重要手段。

在整个医学图像领域，利用计算机进行辅助诊断的技术较多，例如：CN109222859A一种带有ai辅助诊断功能的智能内窥镜影像***，其构建了一套内窥镜***，能够将图像传递给计算机进行智能分析，并将分析返回给内窥镜***供医生参考。目前，专门应用于超声检查场景的辅助诊断技术较少。例如：专利CN206365899U一种超声辅助诊断***，其并不是采用计算机技术进行辅助诊断，而是描述了一套装置用于减轻医生的劳动强度，辅助医生进行诊断。

在临床实践中，超声科医生误诊漏诊的一个因素为未注意到一闪而过的病灶图像。当扫描获得的视频仅有几帧图像包含病灶时，医生难以察觉。然而，受限于成像原理，超声图像本身对组织的成像做不到特别清晰，而且超声检查时，探头是否能够扫描到病灶完全依赖医生的手法。医生需要不断调整扫描角度，同时密切注视扫描屏幕，劳动强度较大，检查结果非常依赖于医生的经验。

现有的方法与设备并没有适配超声诊断的场景，没有对现有的计算机技术进行充分利用，在临床实践中，超声科医生误诊漏诊的一个因素为未注意到一闪而过的病灶图像。当扫描获得的视频仅有几帧图像包含病灶时，医生难以察觉。现有的方式难以从根本上减轻医生的工作量，提高诊断效率和准确性。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种使用超声图像利用计算机视觉进行病灶检测的方法与装置，本发明提供的方法和装置能够适配当前超声诊断的场景，有效的辅助医生识别出视频帧图像中的病灶，提高诊断效率和准确性。

根据本申请实施例的第一方面，提供一种使用超声图像利用计算机视觉进行病灶检测的方法，包括如下步骤：

从医用超声设备上直接采集视频信号获得超声图像；

实时对每一帧超声图像进行的病灶检测，对超声图像做前景和背景的分离处理，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域；

在进行实时视频信号处理的同时将处理后的含有标记的视频帧进行实时返回显示；

利用病灶检测获得的标记从原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；

判断疑似病灶的截图中的病灶是否为真实病灶，并对确认后的病灶进行分类；

读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。

进一步的，实时对每一帧超声图像进行的病灶检测的处理图像的速度快于实时视频数据的刷新速度；实时对每一帧超声图像进行的病灶检测的过程中，在同一张超声图像上，将检测到的最大前景数量设置为少于等于5。

进一步的，在综合判断处理步骤中包括结节关键帧提取，其步骤如下：

1)、将超声视频信号以连续帧的形式输入结节检测模块；

2)、结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；

3)、根据处理结果，提取关键帧：

首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。

进一步的，在综合判断步骤中，需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：

将关键帧中结节外接矩形之外的部分重置为黑色；

将处理后的关键帧图像，对结节的性质进行判别；

在关键帧图像中取得针对病灶的图像特征向量，其中，

单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进的得出针对该病灶的最终的图像特征向量。

进一步的，对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；

对于多个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的特征向量和标准差向量与结构化特征向量串联，得到针对患者的综合数据分析结论。

进一步的，在关键帧图像中取得针对病灶的图像特征向量的步骤中，还包括：

对输入的超声图像进行预处理，输入的超声图像是二维或者三维矩阵；

关键帧结节性质判断步骤设置有特征提取与变换部分、图像特征向量部分和求解器部分；

所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分将超声图像矩阵数据生成一维向量，该向量为原始图像的特征向量；

利用求解器部分以图像特征向量为输入，并结合患者的结构化数据的特征向量，得到最后的输出结果。

根据本申请实施例的第二方面，提供一种使用超声图像利用计算机视觉技术进行病灶检测的装置，该装置用于实现上述的病灶检测的方法，该装置包括：超声视频信号获取模块，用于从医用超声设备上直接采集视频信号获得超声图像；

病灶检测设备，用于实时对每一帧超声图像进行的病灶检测，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域，同时将处理后的含有标记的视频帧进行实时返回显示；

综合诊断设备，该综合诊断设备利用病灶检测设备获得的标记，自动从病灶检测设备中的原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；

其中，所述综合诊断设备中运行有图像筛选分类模块，所述图像筛选分类模块，用于将病灶检测模块中检测出的疑似病灶进行二次确认，区分病灶是否为真实病灶，并对确认后的病灶进行分类；

综合判断模块，用于读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。

进一步的，在所述综合判断模块中设置有结节关键帧提取模块和关键帧结节性质判断模块；其中

结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；

根据处理结果，提取关键帧：首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧；

所述关键帧结节性质判断模块用于对提取的关键帧图像进行结节的性质进行判别，并提取出其图像特征向量；所述关键帧结节性质判断模块被配置为具有如下功能：

将处理后的关键帧图像输入到关键帧结节性质判断模块中，对结节的性质进行判别；

在关键帧图像中取得针对病灶的图像特征向量，其中，

单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进的得出针对该病灶的最终的图像特征向量。

进一步的，还包括结构化数据模块，用于得到患者结构化数据的特征向量；

对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；

对于多个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的特征向量和标准差向量与结构化特征向量串联，得到针对患者的综合数据分析结论。

进一步的，关键帧结节性质判断步骤中，还设置有特征提取与变换部分、图像特征向量部分和求解器部分；

将预处理后的超声图像输入特征提取与变换部分，所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分将超声图像矩阵数据生成一维向量，利用求解器部分以图像特征向量为输入，并结合患者的结构化数据的特征向量，得到最后的输出结果。

本申请的实施例提供的技术方案可以包括以下有益效果：

1)、现有的方法与设备并没有适配超声诊断的场景，没有对现有的计算机技术进行充分利用，在临床实践中，超声科医生误诊漏诊的一个因素为未注意到一闪而过的病灶图像。当扫描获得的视频仅有几帧图像包含病灶时，医生难以察觉。现有的方式难以从根本上减轻医生的工作量，提高诊断效率和准确性。本方法在进行实时视频信号处理的同时将处理后的含有标记的视频帧进行实时返回显示；处理每一帧图像，将检测到的病灶区域用带有明显颜色的矩形框框住，用以提示医生存在疑似的病灶。医生在观察返回的视频时，可以明显察觉到颜色框(标记)的存在，该颜色框提示可能存在的病灶。有效的辅助医生识别出视频帧图像中的病灶。

2)、现有技术中并没有相关的设备或者方法适配超声诊断的场景，本发明中利用结节检测模块实时处理每一帧图像，提取关键帧，并对关键帧的节点性质进行判断，之后提取出其图像特征向量结合患者的结构化数据向量，进而得出针该患者的综合数据分析结论；采用本发明提供的检测方法和装置，相对于现通过医生经验进行判断的方法，本发明有效的提高诊断效率和准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本发明超声图像利用计算机视觉技术进行病灶检测方法流程图；

图2是本发明结节检测方法流程图；

图3是本发明提取关键帧方法流程图；

图4是本发明关键帧结节性质判断流程图；

图5是本发明利用患者的结构化数据得到特征向量示意图；

图6是本发明关键帧图像中取得针对病灶的图像特征向量示意图；

图7是本发明病灶检测装置示意图；

图8是本发明病灶检测装***结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种病灶检测方法的流程图，如图1所示，一种使用超声图像利用计算机视觉技术进行病灶检测的方法，包括以下步骤。

S1、从医用超声设备上直接采集视频信号获得超声图像；

S2、实时对每一帧超声图像进行的病灶检测，对超声图像做前景和背景的分离处理，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，用带有明显颜色的矩形框框住，标记的区域为疑似病灶区域；

S3、在进行实时视频信号处理的同时将处理后的含有标记(矩形框)的视频帧进行实时返回显示；

S4、利用病灶检测获得的矩形框从原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；

S5、判断疑似病灶的截图中的病灶是否为真实病灶，并对确认后的病灶进行精确的分类；

S6、读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。

本实施例提供的检测方法中需要补充的是，实时对每一帧超声图像进行的病灶检测的处理图像的速度快于实时视频数据的刷新速度；实时对每一帧超声图像进行的病灶检测的过程中，在同一张超声图像上，将检测到的最大前景数量设置为少于等于5。由于超声检测场景的特殊性，在同一张超声图像上，可能出现的病灶数量是非常有限的。因此，为了提高速度，这里将可能检测到的最大前景数量设置为5，即：在一张超声图像中，病灶检测模型仅需提出少于等于5个可能的疑似病灶区域。

本实施例提供的检测方法中，首先需要对病灶的图像的进行确认，即检测图像帧中是否含有结节，需要补充说明的是，这个步骤只是检测出图像中是否含有结节；从含有节点的图像中提取出关键帧，之后才是对关键帧做性质判断并提取特征向量，现在详述如下：

如图2所示，作为一种优选的实施方式，本实施例中将超声视频信号以连续帧的形式输入结节检测模块；结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；

如图3所示，本实施例中根据记录对全部视频帧的处理结果，从中提取关键帧，具体的方式为：首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量(共检测到了几个结节)；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。

这里需要补充说明下：首先得到视频中总共检测到了几个结节，之后针对每一个结节做进一步的处理。结节是一个立体的构造，其外形是不规则的，也就是说，一个结节其切面可能分布在若干张的视频帧中，为了便于检测给医生提供更好的辅助，选择结节的最大切面，最大切面的选择可以采用结节的最大直径，最长周边等方式，本实施例中，提供的方式为选择对角线距离最大，选择最大的切面的那帧图像作为关键帧。

本实施例中采用的是选择结节外接矩形对角线距离最大的帧作为关键帧，但并不局限于此。

作为一种优选的实施方式，本实施例中在综合判断步骤中，需要对提取的关键帧进行结节性质判断，如图4所示，关键帧结节性质判断步骤如下：

将关键帧中结节外接矩形之外的部分重置为黑色；

将处理后的关键帧图像，对结节的性质进行判别；

在关键帧图像中取得针对病灶的图像特征向量，其中，

如图5所示，对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；

对于多个病灶的情况，比如针对病灶1通过分析得到病灶1的图像分析结构、针对病灶N通过分析得到病灶N的图像分析结构。本实施例中还包括结构化数据模块，用于得到患者结构化数据的特征向量；结构化数据包括患者的身高、体重、性别、病史、化验结果等。利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的图形特征向量均值和图形特征向量标准差与结构化特征向量串联，得到针对患者的综合数据分析结论。

如图6所示，需要补充说明的是，在关键帧图像中取得针对病灶的图像特征向量的步骤中，还包括：

对输入的超声图像进行预处理，输入的超声图像是二维或者三维矩阵；灰度图为二维，长×宽。彩色图为三维，长×宽×色彩通道，每个像素点的值为整形，是该像素点的灰度值或色彩值，例如RGB值。

图像数据进过预处理后输入模型，模型包括特征提取与变换部分、图像特征向量部分和求解器部分；

所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分利用超声图像矩阵数据生成一维向量，该向量为原始图像的特征向量；

利用求解器部分(分类求解器或回归求解器)，以图像特征向量为输入，得到最后的输出结果。图像特征向量是模型生产的重要中间变量，其质量直接决定了最终输出的质量。

本方法在进行实时视频信号处理的同时将处理后的含有标记的视频帧进行实时返回显示；处理每一帧图像，将检测到的病灶区域用带有明显颜色的矩形框框住，用以提示医生存在疑似的病灶。医生在观察返回的视频时，可以明显察觉到颜色框(标记)的存在，该颜色框提示可能存在的病灶。有效的辅助医生识别出视频帧图像中的病灶。本发明中利用结节检测模块实时处理每一帧图像，提取关键帧，并对关键帧的节点性质进行判断，之后提取出其图像特征向量结合患者的结构化数据向量，进而得出针该患者的综合数据分析结论；采用本发明提供的检测方法和装置，相对于现通过医生经验进行判断的方法，本发明有效的提高诊断效率和准确性。

图7是根据一示例性实施例示出的一种使用超声图像利用计算机视觉技术进行病灶检测的装置。参照图7和图8，该装置用于实现上述述的病灶检测的方法，该装置包括超声工作站和后台计算机***，所述后台计算机***中设置有病灶检测设备；该装置还包括：

超声视频信号获取模块，用于从医用超声设备上直接采集视频信号获得超声图像，并将该信号同时传输至超声工作站和后台计算机***；本实施例中采用视频分路器直接从医用超声设备上直接采集视频信号，一路传输给超声工作站进行原始视频显示，另一路传送给病灶检测设备。

病灶检测设备，用于实时对每一帧超声图像进行的病灶检测，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域，同时将处理后的含有标记的视频帧进行实时返回显示；如图7所示，通过显示器进行辅助诊断结果显示，将处理后的含有标记的视频帧实时显示。本实施例中采用红色矩形框进行标记，红色矩形框的标记方式只是提供一种示例方式，但不限于此。

综合诊断设备，该综合诊断设备利用病灶检测获得的标记(矩形框)自动从病灶检测设备中的原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；

其中，所述综合诊断设备中运行有图像筛选分类模块，所述图像筛选分类模块，用于将病灶检测模块中检测出的疑似病灶进行二次确认，区分病灶是否为真实病灶，并对确认后的病灶进行精确二次的分类。需要补充说明的是，这里的二次分类主要根据临床需要，例如：区分良性和恶性结节、区分原位癌和***等。

综合判断模块，用于读取超声设备的扫描信息和患者的额外的背景信息(比如，患者的身高、体重、性别、病史和化验结果等)，并结合该次扫描获取的所有确认为病灶的图像进行综合判断得出病灶检测结果。

需要补充说明的是，在临床实践中，超声科医生误诊漏诊的一个因素为未注意到一闪而过的病灶图像。当扫描获得的视频仅有几帧图像包含病灶时，医生难以察觉。因此，通过构建病灶检测模型，直接处理超声视频数据，当出现病灶时给予医生特别的提示显得十分必要。这也是第一个需要解决的问题。

为了解决第一个问题，需要设计一套装置，从医用超声设备上直接采集视频信号，并将该信号同时传输至超声工作站和后台计算机***。另外，该装置包含的设备负责运行病灶检测模型。

病灶检测需要优先保证处理速度，病灶检测模型处理图像的速度应快于实时视频数据的刷新速度，同时，该模型在专有病灶检测设备上运行，以保证处理的实时性。

病灶检测步骤将超声图像中的各类病灶视为前景，将正常组织视为背景。该步骤仅需要分离前景和背景。由于超声检测场景的特殊性，在同一张超声图像上，可能出现的病灶数量是非常有限的。因此，为了提高速度，这里将可能检测到的最大前景数量设置为5，即：在一张超声图像中，病灶检测模型仅需提出少于等于5个可能的疑似病灶区域。

超声检测模型在进行实时视频处理的同时也需要将处理后的结果进行实时返回，返回的是对原视频处理后的视频流。模型处理每一帧图像，将检测到的病灶区域用带有明显颜色的矩形框框住，用以提示医生存在疑似的病灶。医生在观察返回的视频时，可以明显察觉到颜色框的存在，该颜色框提示可能存在的病灶。

作为一种优选的实施方式，进一步的，在所述综合判断模块中设置有结节关键帧提取模块和关键帧结节性质判断模块；其中

结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；

根据处理结果，提取关键帧：首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧；

所述关键帧结节性质判断模块用于对提取的关键帧图像进行结节的性质进行判别，并提取出其图像特征向量；所述关键帧结节性质判断模块被配置为具有如下功能：

将处理后的关键帧图像输入到关键帧结节性质判断模块中，对结节的性质进行判别；

在关键帧图像中取得针对病灶的图像特征向量，其中，

单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进的得出针对该病灶的最终的图像特征向量。

本实施例中，关键帧结节性质判断步骤中，还设置有特征提取与变换部分、图像特征向量部分和求解器部分；

将预处理后的超声图像输入特征提取与变换部分，所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分将超声图像矩阵数据生成一维向量，利用分类求解器或回归求解器，以图像特征向量为输入，并结合患者的结构化数据的特征向量，得到最后的输出结果。

为了进一步详述本发明，现拓展说明如下：

利用单一模型进行图像分析，难以既保证速度又保证准确性，上述病灶检测过程在追求检测速度的同时，并不能很好的对病灶进行准确的分类。因此，需要构建独立过程，用于对病灶的精确分类。

为了解决第二个问题，需要一***立的综合诊断设备，用于运行专门的图像分类模型。该计算设备自动从病灶检测设备获取当前扫描产生的所有疑似病灶的截图(利用病灶检测获得的矩形框从原始图像上进行截取)，这些截图按扫描生成时间有序排列。

图像分类模型首先区分病灶是否为真实病灶，将病灶检测步骤得出的结果进行二次确认，之后再对确认后的病灶进行精确的分类。在精确分类时，需要读取超声工作站中给出的扫描信息，例如：扫描深度，探头所处部位等。

图像分类模型从超声工作站获取病人的背景信息：年龄、性别、病史等信息，结合该次扫描获取的所有确认为病灶的图像进行综合判断，最后针对该次扫描得出一个综合诊断结果。

本实施例中，所述综合判断模块中设置有结节检测模块和结节关键帧提取模块；所述结节检测模块用于实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；

所述结节关键帧提取模块，根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。

另一方面，所述综合判断模块中还设置有结节分类模块、图像特征向量获取模块和诊断结论输出模块；其中

所述结节分类模块，将处理后的关键帧图像输入到训练好的结节分类模块中，根据分类网络的特定目的对结节的性质进行判别；

所述图像特征向量获取模块被配置为：结节分类模块的最后一层为输出层，倒数第二层为一个全连接层，用于取得针对病灶图像的特征向量；在使用网络进行分类的同时，利用倒数第二层取得针对该病灶的特征向量；其中，多个关键帧会取得多个特征向量，此处取所有特征向量的均值和方差，代表最终的图像特征向量；

所述诊断结论输出模块，将患者的身份信息数字化后添加到第三步得到的特征向量的后面，取得的综合特征向量进行处理，最终得出综合诊断结论。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于，该装置包括：

超声视频信号获取模块，用于从医用超声设备上直接采集视频信号获得超声图像；

病灶检测设备，用于实时对每一帧超声图像进行病灶检测，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域，同时将处理后的含有标记的视频帧进行实时返回显示；

综合诊断设备，该综合诊断设备利用病灶检测设备获得的标记，自动从病灶检测设备中的原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；

其中，所述综合诊断设备中运行有图像筛选分类模块，所述图像筛选分类模块，用于将病灶检测模块中检测出的疑似病灶进行二次确认，区分病灶是否为真实病灶，并对确认后的病灶进行二次分类；

综合判断模块，用于读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理；

在所述综合判断模块中设置有结节关键帧提取模块和关键帧结节性质判断模块；其中

结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；

根据处理结果，提取关键帧：首先所述结节关键帧提取模块根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧；

所述关键帧结节性质判断模块用于对提取的关键帧图像进行结节的性质进行判别，并提取出其图像特征向量；所述关键帧结节性质判断模块被配置为具有如下功能：

将处理后的关键帧图像输入到关键帧结节性质判断模块中，对结节的性质进行判别；

在关键帧图像中取得针对病灶的图像特征向量，其中，

单个病灶可以提取出多个关键帧图像，通过单个图像可以提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进的得出针对该病灶的最终的图像特征向量。

2.根据权利要求1所述的使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于，还包括结构化数据模块，用于得到患者结构化数据的特征向量；

对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；

对于多个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的特征向量和标准差向量与结构化特征向量串联，得到针对患者的综合数据分析结论。

3.根据权利要求2所述的使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于，关键帧结节性质判断步骤中，还设置有特征提取与变换部分、图像特征向量部分和求解器部分；

将预处理后的超声图像输入特征提取与变换部分，所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分将超声图像矩阵数据生成一维向量，利用求解器部分以图像特征向量为输入，并结合患者的结构化数据的特征向量，得到最后的输出结果。

4.根据权利要求1至3任一项所述的使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于，该装置的实现步骤如下：

从医用超声设备上直接采集视频信号获得超声图像；

实时对每一帧超声图像进行病灶检测，对超声图像做前景和背景的分离处理，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域；

在进行实时视频信号处理的同时将处理后的含有标记的视频帧进行实时返回显示；

利用病灶检测获得的标记从原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；

判断疑似病灶的截图中的病灶是否为真实病灶，并对确认后的病灶进行分类；

读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。

5.根据权利要求4所述的使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于，还包括：

实时对每一帧超声图像进行的病灶检测的处理图像的速度快于实时视频数据的刷新速度；实时对每一帧超声图像进行的病灶检测的过程中，在同一张超声图像上，将检测到的最大前景数量设置为少于等于5。

6.根据权利要求4所述的使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于，在综合判断处理步骤中包括结节关键帧提取，其步骤如下：

1)、将超声视频信号以连续帧的形式输入结节检测模块；

2)、结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；

3)、根据处理结果，提取关键帧：

首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。

7.根据权利要求6所述的使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于：在综合判断步骤中，需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：

将关键帧中结节外接矩形之外的部分重置为黑色；

将处理后的关键帧图像，对结节的性质进行判别；

在关键帧图像中取得针对病灶的图像特征向量，其中，

单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进的得出针对该病灶的最终的图像特征向量。

8.根据权利要求7所述的使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于：对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；

对于多个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的特征向量和标准差向量与结构化特征向量串联，得到针对患者的综合数据分析结论。

9.根据权利要求8所述的使用超声图像利用计算机视觉技术进行病灶检测的装置，其特征在于：在关键帧图像中取得针对病灶的图像特征向量的步骤中，还包括：

对输入的超声图像进行预处理，输入的超声图像是二维或者三维矩阵；

关键帧结节性质判断步骤设置有特征提取与变换部分、图像特征向量部分和求解器部分；

所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分将超声图像矩阵数据生成一维向量，该向量为原始图像的特征向量；

利用所述求解器部分以图像特征向量为输入，并结合患者的结构化数据的特征向量，得到最后的输出结果。

Images