CN113344028A - 乳腺超声序列图像分类方法及装置 - Google Patents
乳腺超声序列图像分类方法及装置 Download PDFInfo
- Publication number
- CN113344028A CN113344028A CN202110508602.8A CN202110508602A CN113344028A CN 113344028 A CN113344028 A CN 113344028A CN 202110508602 A CN202110508602 A CN 202110508602A CN 113344028 A CN113344028 A CN 113344028A
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- sequence
- feature
- sequence image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 67
- 210000000481 breast Anatomy 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 239000013598 vector Substances 0.000 claims abstract description 30
- 238000013145 classification model Methods 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 34
- 230000003902 lesion Effects 0.000 claims description 8
- 210000005075 mammary gland Anatomy 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 210000001072 colon Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006651 lactation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提出一种乳腺超声序列图像分类方法，包括：基于目标跟踪生成序列图像；对序列图像进行归一化处理；基于单帧‑多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。本发明实施例所提出的乳腺超声序列图像分类方法，其基于时序图像特征图加权的方式，结合帧间梯度信息，对时序图像进行分类，从而降低假阳性情况，提高乳腺超声筛查结果的准确性。此外，本发明还公开一种乳腺超声序列图像分类装置。
Description
技术领域
本发明涉及超声检测领域，特别涉及一种乳腺超声序列图像分类方法及装置。
背景技术
目前，乳腺超声是我国乳腺疾病筛查的主要办法之一，其检查无痛苦，对受检者无放射性损害，可以短期多次反复进行，适用于任何年龄女性，包括妊娠期和哺乳期妇女的乳腺检查。
乳腺超声是利用超声仪将超声波发射到乳腺以获得超声图像，根据超声图像的显示情况判断病变的性质。乳腺扫查时会产生超声视频，该超声视频用于供超声医生查阅，以据此判断是否存在病灶。
原始输入乳腺超声视频图像，经过深度学习目标检测模型，检测生成大量回归框(疑似病灶区域)。由于图像采集问题、某些病灶与正常组织的结构相似性，导致直接用回归框作为最终病灶结果，存在大量假阳性情况。
发明内容
本发明的主要目的在于提出一种乳腺超声序列图像分类方法，旨在解决现有乳腺超声检测存在大量假阳性的技术问题。
为实现上述目的，本发明提出一种乳腺超声序列图像分类方法，所述乳腺超声序列图像分类方法包括：
基于目标跟踪生成序列图像；
对序列图像进行归一化处理；
基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；
基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。
优选地，所述基于目标跟踪生成序列图像包括：
利用目标检测算法对乳腺超声视频进行检测，生成回归框并将其所对应的图像帧标记为检测帧；
基于回归框内的局部图像信息在乳腺超声视频中进行跟踪；
若跟踪到的回归框中的局部图像信息满足预设的相似度阈值，且在帧与帧之间对应回归框存在交集，则将跟踪到的回归框所对应的图像帧标记为跟踪帧。
优选地，所述对序列图像进行归一化处理包括：
生成序列图像长度统计图；
基于序列图像长度统计图，选定序列图像归一化的长度值；
对大于选定长度值的序列图像进行等间隔帧抽样，对小于选定长度值的序列图像进行等间隔***图像帧。
优选地，所述基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量包括：
基于第一特征提取网络提取序列图像中每帧图像的特征图；
分配不同的权重值给检测帧和跟踪帧，基于每帧图像的标记和对应的权重值对每帧图像的特征图进行特征融合，得到第一特征图；
基于第二特征提取网络提取序列图像中每帧图像的特征图，对每帧图像中提取出的特征图进行特征融合，得到第二特征图；
将第一特征图和第二特征图进行特征通道融合，得到用于表征序列图像特征的特征向量。
优选地，所述基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳包括：
对单帧-多帧特征融合分类模型的输出进行计算，返回输入图像的类别信息，以及其得分值；
采用softmax分类函数进行结果转化，公式如下：
其中，C为分类任务类别总数，softmax(Zi)为输入Zi对应的概率值，Zi为用于表征序列图像的特征的特征向量，经过softmax分类函数后，各类别概率被归一化，即输入图像输出的各类别概率相加和为1，该输入图像的类别得分为其各类别概率中最大值，其对应索引号为该图像对应类别，类别即为真阳和假阳。
本发明还提出一种乳腺超声序列图像分类装置，所述乳腺超声序列图像分类装置包括：
序列图像生成模块，用于基于目标跟踪生成序列图像；
序列图像归一化模块，用于对序列图像进行归一化处理；
序列图像特征提取模块，用于基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；
序列图像分类模块，用于基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。
优选地，所述序列图像生成模块包括：
检测帧生成单元，用于利用目标检测算法对乳腺超声视频进行检测，生成回归框并将其所对应的图像帧标记为检测帧；
回归框跟踪单元，用于基于回归框内的局部图像信息在乳腺超声视频中进行跟踪；
跟踪帧生成单元，用于在跟踪到的回归框中的局部图像信息满足预设的相似度阈值，且在帧与帧之间对应回归框存在交集时，将跟踪到的回归框所对应的图像帧标记为跟踪帧。
优选地，所述序列图像归一化模块包括：
长度统计图生成单元，用于生成序列图像长度统计图；
长度值选定单元，用于基于序列图像长度统计图，选定序列图像归一化的长度值；
序列图像归一化单元，用于对大于选定长度值的序列图像进行等间隔帧抽样，对小于选定长度值的序列图像进行等间隔***图像帧。
优选地，所述序列图像特征提取模块包括：
第一特征提取单元，用于基于第一特征提取网络提取序列图像中每帧图像的特征图；
第一特征融合单元，用于分配不同的权重值给检测帧和跟踪帧，基于每帧图像的标记和对应的权重值对每帧图像的特征图进行特征融合，得到第一特征图；
第二特征提取单元，基于第二特征提取网络提取序列图像中每帧图像的特征图，对每帧图像中提取出的特征图进行特征融合，得到第二特征图；
第二特征融合单元，将第一特征图和第二特征图进行特征通道融合，得到用于表征序列图像特征的特征向量。
优选地，所述序列图像分类模块包括：
对单帧-多帧特征融合分类模型的输出进行计算，返回输入图像的类别信息，以及其得分值；
采用softmax分类函数进行结果转化，公式如下：
其中，C为分类任务类别总数，softmax(Zi)为输入Zi对应的概率值，Zi为用于表征序列图像的特征的特征向量，经过softmax分类函数后，各类别概率被归一化，即输入图像输出的各类别概率相加和为1，该输入图像的类别得分为其各类别概率中最大值，其对应索引号为该图像对应类别，类别即为真阳和假阳。
与现有技术相比，本发明实施例的有益技术效果在于：
本发明实施例所提出的乳腺超声序列图像分类方法，其基于时序图像特征图加权的方式，结合帧间梯度信息，对时序图像进行分类，从而降低假阳性情况，提高乳腺超声筛查结果的准确性。
附图说明
图1为本发明乳腺超声序列图像分类方法第一实施例的流程图；
图2为本发明乳腺超声序列图像分类方法的特征图加权融合结构图；
图3为本发明乳腺超声序列图像分类方法一实施例的网络结构图；
图4为本发明乳腺超声序列图像分类方法的基于3D卷积的残差模块结构图；
图5为本发明乳腺超声序列图像分类方法另一实施例的网络结构图；
图6为本发明乳腺超声序列图像分类方法的序列图像长度统计图；
图7为本发明乳腺超声序列图像分类方法第二实施例的流程图；
图8为本发明乳腺超声序列图像分类方法第三实施例的流程图；
图9为本发明乳腺超声序列图像分类方法第四实施例的流程图；
图10为本发明乳腺超声序列图像分类装置第一实施例的功能模块图；
图11为本发明乳腺超声序列图像分类装置第二实施例的功能模块图；
图12为本发明乳腺超声序列图像分类装置第三实施例的功能模块图；
图13为本发明乳腺超声序列图像分类装置第四实施例的功能模块图；
图14为本发明乳腺超声序列图像分类设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种乳腺超声序列图像分类方法，参见图1，该乳腺超声序列图像分类方法包括以下步骤：
S10，基于目标跟踪生成序列图像；
S20，对序列图像进行归一化处理；
S30，基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；
S40，基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。
本实施例中，原始输入乳腺超声视频图像，经过深度学习目标检测模型，检测生成大量回归框，回归框内的局部图像为疑似病灶，也即：乳腺超声视频图像输入目标检测模型后，乳腺超声视频的每帧图像中的疑似病灶将通过回归框标出。在检测到回归框后，基于回归框内的局部图像进行目标跟踪，以获取到连续的序列图像。
需要说明的是，基于单帧图像分类无法有效区分与病灶相似的正常组织和实际病灶区，单从任一单帧图像看(不结合临床信息)，其结构、纹理、边缘特征都与病灶图像相似，但从时序信息出发，某些帧与外界相连，不存在明显占位效应，为正常组织。
序列图像生成中产生的序列图像长度不一致，而在输入特征网络进行特征提取的图像必须是固定且相同长度的序列图像。因此，需对上述序列图像进行归一化处理，将长度不一致的图像归一化为固定且相同长度的连续序列图像。
参见图2-3，对于特征提取网络，可采用基于单帧-多帧特征融合的分类模型框架，模型基于两条主干网络Backbone-1，Backbone-2。其中，Backbone-1基于简易单帧图像分类网络，包括但不局限于ResNet系列、Densenet系列、EfficientNet系列等图像分类网络，该主干网络基于权重共享提取每帧图像的特征值，再应用输入序列图像的权重分布值进行加权特征融合。而Backbone-2网络基于通道分离卷积，在帧间差中提取帧与帧之间的变化特征。最后，将Backbone-1，Backbone-2所提取的特征进行特征通道融合，得到最终该序列图像的特征图。
参见图4-5，对于特征提取网络，还可采用基于单帧-多帧特征融合的分类模型框架。模型基于两条主干网络Backbone-2D，Backbone-3D。其中，Backbone-2D基于简易单帧图像分类网络，包括但不局限于ResNet系列、Densenet系列、EfficientNet系列等图像分类网络，该主干网络用于提取单帧图像的特征值，更多权重贡献在单帧类别显著的序列图像分类。而Backbone-3D网络基于3D卷积和残差结构设计，更多权重贡献在帧间变化显著的序列图像分类。其具体层数决定于任务复杂度，前期图像量不够庞大，因此选用3个基于3D卷积的残差模块(过多模块更易导致模型过拟合情况)，用以实现帧与帧之间变化规律特征提取。Backbone-3D中基于3D卷积的残差模块结构如图4所示，其中add通道融合操作为对应特征图像特征权重相加，因此经过add操作后特征通道数不改变。
上述Backbone-3D结构输入图像为连续序列图像帧与帧之间梯度图(帧与某一帧之间的差值)，为避免经典帧间差(相邻两帧间的差值)存在双影问题，本发明中采用三帧差法，拟解决帧间差分的双影问题。三帧差法具体步骤为：
S1：第N帧和第N-1帧帧间差得到前景目标D1；
S2：第N+1帧和第N帧帧间差得到前景目标D2；
S3：取D1和D2的交集D为最终前景目标图像；
S4：对D进行形态学处理实现三帧差法；
输入固定长度为10帧的连续序列图像，循环经过上述三帧差法，最终得到固定长度为8帧的连续梯度序列图像，该图像则输入主干网络Backbone-3D提取帧与帧之间变化规律特征。
对于Backbone-2D输入单帧图像为连续固定长度10帧序列图像中的随机任一帧，一方面提供单帧图像图像，另一方面随机性增加输入单帧图像的多样性，一定程度避免整个模型的过拟合情况。
基于主干网络Backbone-2D，Backbone-3D提取输入图像不同维度特征后，直接进行特征向量拼接，再接2个全连接层实现该图像形式的分类任务。具体网络结构如图5所示。
对上述单帧-多帧特征融合分类模型的输出进行计算，返回输入图像的类别信息，此类别信息即为：疑似病灶为真阳，疑似病灶为假阳。
进一步的，参见图7，本发明实施例所提出的步骤S10包括以下步骤：
S11，利用目标检测算法对乳腺超声视频进行检测，生成回归框并将其所对应的图像帧标记为检测帧；
S12，基于回归框内的局部图像信息在乳腺超声视频中进行跟踪；
S13，若跟踪到的回归框中的局部图像信息满足预设的相似度阈值，且在帧与帧之间对应回归框存在交集，则将跟踪到的回归框所对应的图像帧标记为跟踪帧。
本实施例中，基于检测结果的回归框的局部图像信息在原始超声视频图像中进行跟踪。若跟踪满足一定相似度阈值，且在帧与帧之间对应回归框存在交集，则记录检测模型回归框类别为1，对应跟踪成功的回归框类别为0。直到跟踪结束，停止该bbox的跟踪，生成长度不一致的序列图像，且该序列图像对应的每帧类别可构成近似于00011000样式(其中，0代表跟踪帧，1代表检测帧，该序列图像长度为8)。
进一步的，参见图8，本发明实施例所提出的步骤S20包括以下步骤：
S21，生成序列图像长度统计图；
S22，基于序列图像长度统计图，选定序列图像归一化的长度值；
S23，对大于选定长度值的序列图像进行等间隔帧抽样，对小于选定长度值的序列图像进行等间隔***图像帧。
本实施例中，如图6所示，从上述分布图看出，相对更多的连续序列图像长度集中在10帧，因此选定序列图像归一化到固定且相同长度到10帧。归一化整理思路为多抽少补，即对大于10帧的序列图像进行等间隔帧抽样，对少于10帧的序列图像进行等间隔***图像帧。对于每帧类别(0或1)，抽样帧的类别由其对应原始帧类别决定，对于***帧而言，其帧类别均为0。因此，经过上述处理后，不同长度的时序图像均被归一化为等长(长度为10)的时序图像，且时序图像中每帧都有其对应的标签(0或1)。
进一步的，参见图9，本发明实施例所提出的步骤S30包括以下步骤：
S31，基于第一特征提取网络提取序列图像中每帧图像的特征图；
S32，分配不同的权重值给检测帧和跟踪帧，基于每帧图像的标记和对应的权重值对每帧图像的特征图进行特征融合，得到第一特征图；
S33，基于第二特征提取网络提取序列图像中每帧图像的特征图，对每帧图像中提取出的特征图进行特征融合，得到第二特征图；
S34，将第一特征图和第二特征图进行特征通道融合，得到用于表征序列图像特征的特征向量。
本实施例中，Backbone-2结构输入图像为连续序列图像帧与帧之间梯度图(帧与某一帧之间的差值)，为避免经典帧间差(相邻两帧间的差值)存在双影问题，本发明中采用三帧差法，拟解决帧间差分的双影问题。三帧差法具体步骤为：
S1：第N帧和第N-1帧帧间差得到前景目标D1；
S2：第N+1帧和第N帧帧间差得到前景目标D2；
S3：取D1和D2的交集D为最终前景目标图像；
S4：对D进行形态学处理实现三帧差法；
输入固定长度为10帧的连续序列图像，循环经过上述三帧差法，最终得到固定长度为8帧的连续梯度序列图像，该图像则输入主干网络Backbone2，基于通道分离卷积对输入多帧图像提取特征，然后融合每帧特征，在基于2D卷积操作、下采样、全连接层等操作，以实现帧与帧之间的特征提取。
对于Backbone-1的输入定义为：依次输入连续固定长度10帧序列图像中的每帧图像，基于权重共享层EfficientNet-attention框架(不局限于此模型框架)，提取每帧图像的特征图，再根据输入图像的权重，对上述特征图进行权重融合。最后再基于2D卷积、全连接层实现Backbone-1特征提取。具体特征图加权融合结构图如图2所示，需要说明的是，图2所示的0:0.5表示的是跟踪帧的权重值为0.5，1:1表示的是检测帧的权重值为1，也即：冒号前面的0和1表示前述所记载的跟踪帧和检测帧，冒号后面的0.5和1表示跟踪帧和检测帧的权重分布值。此外，权重共享网络也即Backbone-1网络。
基于主干网络Backbone-1，Backbone-2提取输入图像不同维度特征后，直接进行特征向量拼接，再接2个全连接层实现该图像形式的分类任务。具体网络结构如图3所示。
需要说明的是，本发明实施例所提出的第一特征图为图3所示的特征图1，第二特征图为图3所示的特征图2。
进一步的，本发明实施例所提出的步骤S40包括以下步骤：
对单帧-多帧特征融合分类模型的输出进行计算，返回输入图像的类别信息，以及其得分值；
采用softmax分类函数进行结果转化，公式如下：
其中，C为分类任务类别总数，softmax(Zi)为输入Zi对应的概率值，Zi为用于表征序列图像的特征的特征向量，经过softmax分类函数后，各类别概率被归一化，即输入图像输出的各类别概率相加和为1，该输入图像的类别得分为其各类别概率中最大值，其对应索引号为该图像对应类别，类别即为真阳和假阳。例：对于N分类任务，数据经过模型特征提取后输出N维特征，经过softmax分类函数后，输出位长度为N的列表[S0,S1,...]，该列表中所有元素之和为1，若S0为其最大值，则S0为类别得分，其对应在列表中的索引号为0，即该数据类别为0。
基于前述实施例所提出的乳腺超声序列图像分类方法，参见图10，本发明还提出一种乳腺超声序列图像分类装置，该乳腺超声序列图像分类装置包括：
序列图像生成模块10，用于基于目标跟踪生成序列图像；
序列图像归一化模块20，用于对序列图像进行归一化处理；
序列图像特征提取模块30，用于基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；
序列图像分类模块40，用于基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。
进一步的，参见图11，本发明实施例所提出的序列图像生成模块10包括：
检测帧生成单元11，用于利用目标检测算法对乳腺超声视频进行检测，生成回归框并将其所对应的图像帧标记为检测帧；
回归框跟踪单元12，用于基于回归框内的局部图像信息在乳腺超声视频中进行跟踪；
跟踪帧生成单元13，用于在跟踪到的回归框中的局部图像信息满足预设的相似度阈值，且在帧与帧之间对应回归框存在交集时，将跟踪到的回归框所对应的图像帧标记为跟踪帧。
进一步的，参见图12，本发明实施例所提出的序列图像归一化模块20包括：
长度统计图生成单元21，用于生成序列图像长度统计图；
长度值选定单元22，用于基于序列图像长度统计图，选定序列图像归一化的长度值；
序列图像归一化单元23，用于对大于选定长度值的序列图像进行等间隔帧抽样，对小于选定长度值的序列图像进行等间隔***图像帧。
进一步的，参见图13，本发明实施例所提出的序列图像特征提取模块30包括：
第一特征提取单元31，用于基于第一特征提取网络提取序列图像中每帧图像的特征图；
第一特征融合单元32，用于分配不同的权重值给检测帧和跟踪帧，基于每帧图像的标记和对应的权重值对每帧图像的特征图进行特征融合，得到第一特征图；
第二特征提取单元33，基于第二特征提取网络提取序列图像中每帧图像的特征图，对每帧图像中提取出的特征图进行特征融合，得到第二特征图；
第二特征融合单元34，将第一特征图和第二特征图进行特征通道融合，得到用于表征序列图像特征的特征向量。
进一步的，本发明实施例所提出的序列图像分类模块40包括：
对单帧-多帧特征融合分类模型的输出进行计算，返回输入图像的类别信息，以及其得分值；
采用softmax分类函数进行结果转化，公式如下：
其中，C为分类任务类别总数，softmax(Zi)为输入Zi对应的概率值，Zi为用于表征序列图像的特征的特征向量，经过softmax分类函数后，各类别概率被归一化，即输入图像输出的各类别概率相加和为1，该输入图像的类别得分为其各类别概率中最大值，其对应索引号为该图像对应类别，类别即为真阳和假阳。
基于前述实施例所提出的乳腺超声序列图像分类方法，参见图14，本发明还提出一种乳腺超声序列图像分类设备，该乳腺超声序列图像分类设备包括：
存储器1005，用于存储计算机程序；
处理器1001，用于执行计算机程序时，实现前述所记载的乳腺超声序列图像分类方法，该乳腺超声序列图像分类方法至少包括以下步骤：
S10，基于目标跟踪生成序列图像；
S20，对序列图像进行归一化处理；
S30，基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；
S40，基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。
本发明实施例所提出的乳腺超声序列图像分类设备可以是机器人，也可以是PC。如图14所示，该乳腺超声序列图像分类设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元，比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图14中示出的乳腺超声序列图像分类设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图14所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及计算机程序。
在图14所示的乳腺超声序列图像分类设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的计算机程序。
基于前述实施例所提出的乳腺超声序列图像分类方法，本发明还提出一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，实现前述所记载的乳腺超声序列图像分类方法，该乳腺超声序列图像分类方法至少包括以下步骤：
S10，基于目标跟踪生成序列图像；
S20，对序列图像进行归一化处理；
S30，基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；
S40，基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的仅为本发明的部分或优选实施例，无论是文字还是附图都不能因此限制本发明保护的范围，凡是在与本发明一个整体的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明保护的范围内。
Claims (10)
1.一种乳腺超声序列图像分类方法，其特征在于，包括：
基于目标跟踪生成序列图像；
对序列图像进行归一化处理；
基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；
基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。
2.根据权利要求1所述的乳腺超声序列图像分类方法，其特征在于，所述基于目标跟踪生成序列图像包括：
利用目标检测算法对乳腺超声视频进行检测，生成回归框并将其所对应的图像帧标记为检测帧；
基于回归框内的局部图像信息在乳腺超声视频中进行跟踪；
若跟踪到的回归框中的局部图像信息满足预设的相似度阈值，且在帧与帧之间对应回归框存在交集，则将跟踪到的回归框所对应的图像帧标记为跟踪帧。
3.根据权利要求2所述的乳腺超声序列图像分类方法，其特征在于，所述对序列图像进行归一化处理包括：
生成序列图像长度统计图；
基于序列图像长度统计图，选定序列图像归一化的长度值；
对大于选定长度值的序列图像进行等间隔帧抽样，对小于选定长度值的序列图像进行等间隔***图像帧。
4.根据权利要求3所述的乳腺超声序列图像分类方法，其特征在于，所述基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量包括：
基于第一特征提取网络提取序列图像中每帧图像的特征图；
分配不同的权重值给检测帧和跟踪帧，基于每帧图像的标记和对应的权重值对每帧图像的特征图进行特征融合，得到第一特征图；
基于第二特征提取网络提取序列图像中每帧图像的特征图，对每帧图像中提取出的特征图进行特征融合，得到第二特征图；
将第一特征图和第二特征图进行特征通道融合，得到用于表征序列图像特征的特征向量。
5.根据权利要求4所述的乳腺超声序列图像分类方法，其特征在于，所述基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳包括：
对单帧-多帧特征融合分类模型的输出进行计算，返回输入图像的类别信息，以及其得分值；
采用softmax分类函数进行结果转化，公式如下：
其中，C为分类任务类别总数，softmax(Zi)为输入Zi对应的概率值，Zi为用于表征序列图像的特征的特征向量，经过softmax分类函数后，各类别概率被归一化，即输入图像输出的各类别概率相加和为1，该输入图像的类别得分为其各类别概率中最大值，其对应索引号为该图像对应类别，类别即为真阳和假阳。
6.一种乳腺超声序列图像分类装置，其特征在于，包括：
序列图像生成模块，用于基于目标跟踪生成序列图像；
序列图像归一化模块，用于对序列图像进行归一化处理；
序列图像特征提取模块，用于基于单帧-多帧特征融合分类模型，对归一化后的序列图像进行特征提取，得到表征序列图像特征的特征向量；
序列图像分类模块，用于基于序列图像的特征向量对序列图像进行分类，以据此判断每帧图像中的病灶是否为假阳。
7.根据权利要求6所述的乳腺超声序列图像分类装置，其特征在于，所述序列图像生成模块包括：
检测帧生成单元，用于利用目标检测算法对乳腺超声视频进行检测，生成回归框并将其所对应的图像帧标记为检测帧；
回归框跟踪单元，用于基于回归框内的局部图像信息在乳腺超声视频中进行跟踪；
跟踪帧生成单元，用于在跟踪到的回归框中的局部图像信息满足预设的相似度阈值，且在帧与帧之间对应回归框存在交集时，将跟踪到的回归框所对应的图像帧标记为跟踪帧。
8.根据权利要求7所述的乳腺超声序列图像分类装置，其特征在于，所述序列图像归一化模块包括：
长度统计图生成单元，用于生成序列图像长度统计图；
长度值选定单元，用于基于序列图像长度统计图，选定序列图像归一化的长度值；
序列图像归一化单元，用于对大于选定长度值的序列图像进行等间隔帧抽样，对小于选定长度值的序列图像进行等间隔***图像帧。
9.根据权利要求8所述的乳腺超声序列图像分类装置，其特征在于，所述序列图像特征提取模块包括：
第一特征提取单元，用于基于第一特征提取网络提取序列图像中每帧图像的特征图；
第一特征融合单元，用于分配不同的权重值给检测帧和跟踪帧，基于每帧图像的标记和对应的权重值对每帧图像的特征图进行特征融合，得到第一特征图；
第二特征提取单元，基于第二特征提取网络提取序列图像中每帧图像的特征图，对每帧图像中提取出的特征图进行特征融合，得到第二特征图；
第二特征融合单元，将第一特征图和第二特征图进行特征通道融合，得到用于表征序列图像特征的特征向量。
10.根据权利要求9所述的乳腺超声序列图像分类装置，其特征在于，所述序列图像分类模块包括：
对单帧-多帧特征融合分类模型的输出进行计算，返回输入图像的类别信息，以及其得分值；
采用softmax分类函数进行结果转化，公式如下：
其中，C为分类任务类别总数，softmax(Zi)为输入Zi对应的概率值，Zi为用于表征序列图像的特征的特征向量，经过softmax分类函数后，各类别概率被归一化，即输入图像输出的各类别概率相加和为1，该输入图像的类别得分为其各类别概率中最大值，其对应索引号为该图像对应类别，类别即为真阳和假阳。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110508602.8A CN113344028A (zh) | 2021-05-10 | 2021-05-10 | 乳腺超声序列图像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110508602.8A CN113344028A (zh) | 2021-05-10 | 2021-05-10 | 乳腺超声序列图像分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113344028A true CN113344028A (zh) | 2021-09-03 |
Family
ID=77470510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110508602.8A Pending CN113344028A (zh) | 2021-05-10 | 2021-05-10 | 乳腺超声序列图像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344028A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758197A (zh) * | 2022-06-15 | 2022-07-15 | 深圳瀚维智能医疗科技有限公司 | 数据筛选方法、装置及计算机可读存储介质 |
| CN116168276A (zh) * | 2023-02-27 | 2023-05-26 | 脉得智能科技(无锡)有限公司 | 一种基于多模态特征融合的乳腺结节分类方法、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349141A (zh) * | 2019-07-04 | 2019-10-18 | 复旦大学附属肿瘤医院 | 一种乳腺病灶定位方法和*** |
| CN110570458A (zh) * | 2019-08-12 | 2019-12-13 | 武汉大学 | 一种基于内部裁剪和多层特征信息融合的目标跟踪方法 |
| CN110786887A (zh) * | 2019-10-22 | 2020-02-14 | 深圳瀚维智能医疗科技有限公司 | 乳腺超声筛查方法、装置及*** |
| CN111968091A (zh) * | 2020-08-19 | 2020-11-20 | 南京图格医疗科技有限公司 | 一种临床图像中病变区域的检测和分类方法 |
| CN112446862A (zh) * | 2020-11-25 | 2021-03-05 | 北京医准智能科技有限公司 | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法 |
| CN112489788A (zh) * | 2020-11-25 | 2021-03-12 | 武汉大学中南医院 | 一种用于癌症诊断的多模态影像分析方法及*** |
-
2021
- 2021-05-10 CN CN202110508602.8A patent/CN113344028A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349141A (zh) * | 2019-07-04 | 2019-10-18 | 复旦大学附属肿瘤医院 | 一种乳腺病灶定位方法和*** |
| CN110570458A (zh) * | 2019-08-12 | 2019-12-13 | 武汉大学 | 一种基于内部裁剪和多层特征信息融合的目标跟踪方法 |
| CN110786887A (zh) * | 2019-10-22 | 2020-02-14 | 深圳瀚维智能医疗科技有限公司 | 乳腺超声筛查方法、装置及*** |
| WO2021078066A1 (zh) * | 2019-10-22 | 2021-04-29 | 深圳瀚维智能医疗科技有限公司 | 乳腺超声筛查方法、装置及*** |
| CN111968091A (zh) * | 2020-08-19 | 2020-11-20 | 南京图格医疗科技有限公司 | 一种临床图像中病变区域的检测和分类方法 |
| CN112446862A (zh) * | 2020-11-25 | 2021-03-05 | 北京医准智能科技有限公司 | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、***及图像处理方法 |
| CN112489788A (zh) * | 2020-11-25 | 2021-03-12 | 武汉大学中南医院 | 一种用于癌症诊断的多模态影像分析方法及*** |
Non-Patent Citations (4)
| Title |
|---|
| LI, H等: "Classification of breast mass in two-view mammograms via deep learning", 《IET IMAGE PROCESS》, vol. 15, pages 454 * |
| Z. YANG等: "A Temporal Sequence Dual-Branch Network for Classifying Hybrid Ultrasound Data of Breast Cancer", 《IEEE ACCESS》, vol. 8, pages 82688 - 82699, XP011787827, DOI: 10.1109/ACCESS.2020.2990683 * |
| 王露等: "基于公共空间视频的人脸情绪识别", 《安徽工业大学学报(自然科学版)》, vol. 36, no. 1, pages 68 - 73 * |
| 黄佩云等: "基于卷积神经网络的肠息肉分类方法的初步研究", 《胃肠病学和肝病学杂志》, vol. 30, no. 3, pages 336 - 340 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758197A (zh) * | 2022-06-15 | 2022-07-15 | 深圳瀚维智能医疗科技有限公司 | 数据筛选方法、装置及计算机可读存储介质 |
| CN114758197B (zh) * | 2022-06-15 | 2022-11-01 | 深圳瀚维智能医疗科技有限公司 | 数据筛选方法、装置及计算机可读存储介质 |
| CN116168276A (zh) * | 2023-02-27 | 2023-05-26 | 脉得智能科技(无锡)有限公司 | 一种基于多模态特征融合的乳腺结节分类方法、设备及存储介质 |
| CN116168276B (zh) * | 2023-02-27 | 2023-10-31 | 脉得智能科技(无锡)有限公司 | 一种基于多模态特征融合的乳腺结节分类方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sori et al. | DFD-Net: lung cancer detection from denoised CT scan image using deep learning | |
| US10932662B2 (en) | System and method of otoscopy image analysis to diagnose ear pathology | |
| CN111524106B (zh) | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 | |
| Sainju et al. | Automated bleeding detection in capsule endoscopy videos using statistical features and region growing | |
| JP5801379B2 (ja) | 確率密度関数推定器 | |
| CN112598643B (zh) | 深度伪造图像检测及模型训练方法、装置、设备、介质 | |
| Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
| Segal et al. | Evaluating the clinical realism of synthetic chest x-rays generated using progressively growing gans | |
| US20220215548A1 (en) | Method and device for identifying abnormal cell in to-be-detected sample, and storage medium | |
| JP7294695B2 (ja) | 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法 | |
| Chen et al. | Two-stream collaborative network for multi-label chest X-ray Image classification with lung segmentation | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| CN113344028A (zh) | 乳腺超声序列图像分类方法及装置 | |
| CN112085742B (zh) | 一种基于上下文注意力的nafld超声视频诊断方法 | |
| Sulam et al. | Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets. | |
| CN116862877A (zh) | 基于卷积神经网络的扫描图像分析***及其方法 | |
| CN115222713A (zh) | 一种冠状动脉钙化积分的计算方法、装置及存储介质 | |
| CN117408946A (zh) | 图像处理模型的训练方法、图像处理方法 | |
| CN113592769B (zh) | 异常图像的检测、模型的训练方法、装置、设备及介质 | |
| CN113516194B (zh) | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 | |
| Vajravelu et al. | Machine learning techniques to detect bleeding frame and area in wireless capsule endoscopy video | |
| Shekar et al. | An efficient stacked ensemble model for the detection of COVID-19 and skin cancer using fused feature of transfer learning and handcrafted methods | |
| TW202346826A (zh) | 影像處理方法 | |
| Cazzolato et al. | dp-breath: Heat maps and probabilistic classification assisting the analysis of abnormal lung regions | |
| CN111651626B (zh) | 图像分类方法、装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |