CN112927217A - 一种基于目标检测的甲状腺结节侵袭性预测方法 - Google Patents
一种基于目标检测的甲状腺结节侵袭性预测方法 Download PDFInfo
- Publication number
- CN112927217A CN112927217A CN202110307648.3A CN202110307648A CN112927217A CN 112927217 A CN112927217 A CN 112927217A CN 202110307648 A CN202110307648 A CN 202110307648A CN 112927217 A CN112927217 A CN 112927217A
- Authority
- CN
- China
- Prior art keywords
- nodule
- positioning
- network model
- network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 59
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 63
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 23
- 238000002604 ultrasonography Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000000762 glandular Effects 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims abstract description 5
- 206010054107 Nodule Diseases 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 13
- 230000001965 increasing effect Effects 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000003211 malignant effect Effects 0.000 claims description 7
- 235000004257 Cordia myxa Nutrition 0.000 claims description 6
- 244000157795 Cordia myxa Species 0.000 claims description 6
- 230000009545 invasion Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000012938 design process Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 230000007547 defect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- YNPNZTXNASCQKK-UHFFFAOYSA-N phenanthrene Chemical compound C1=CC=C2C3=CC=CC=C3C=CC2=C1 YNPNZTXNASCQKK-UHFFFAOYSA-N 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000024799 Thyroid disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000003372 endocrine gland Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明属于图像处理技术领域，具体为一种基于目标检测的甲状腺结节侵袭性预测方法。该方法包括如下步骤：S1：对临床获得的甲状腺超声图像进行预处理，得到原始数据集；S2：构建基于传统Faster RCNN的网络结构的定位网络模型；并对定位网络模型进行预训练；S3：利用定位网络对超声图像中的结节形态信息进行提取；得到结节的纵横比信息，以及腺体组织的上下文信息；S4：构建分类网络模型；S5：建立多模型融合的甲状腺结节侵袭性预测网络，对超声图像中甲状腺结节侵袭性进行预测；S6：对融合的网络模型中的分类网络模型进行训练更新，保存验证集中准确率最高的模型。该方法可以实现端到端全自动辅助诊断，克服传统方法准确率不足，检测速率低的缺陷。
Description
技术领域
本发明属于图像处理技术领域，具体为一种基于目标检测的甲状腺结节侵袭性预测方法。
背景技术
甲状腺是人体最大的内分泌腺，超声检查能对其大小，体积与血流做出定性和定量的估测，对肿瘤的良恶性可进行定性或半定性的诊断，因此超声检测方法也成为影像检查甲状腺疾病的首选方法。过去的甲状腺超声检测结果主要由医生根据经验进行判断，并作出结论预测。图像识别技术引入之后，各种基于分类的检测***可以代替人工对超声影像数据进行处理和预测，从而大大提高图像的检测效率；同时将图像识别处理技术和人工经验进行结合，先由计算机给出初步预测结论，再由医生进行结论复核，这有助于降低医生的误判率和工作负担。
但是，现有的各种基于分类的检测***在甲状腺超声影响的识别处理上仍然存在一些弊端。例如，现有的甲状腺结节的性质分类检测方法中并未兼顾结节本身的特征信息以及与腺体组织的上下文信息；这会对最终的预测结论的可靠性产生不可忽视的影响：Liu等在发表在《医学图像分析(Medical Image Analysis)》的文章《基于临床知识指导的卷积神经网络在超声图像甲状腺结节自动检测与分类中的应用(Automated detection andclassification of thyroid nodules in ultrasound images using clinical-knowledge-guided convolutional neural networks)》提出一种利用基于ResNet-50的多尺度金字塔定位网络来对结节定位并生成三种不同的结节图像并分类的方法，但网络没有更多地引入医学临床经验。迟剑宁、于晓升、张艺菲发表在《中国图象图形学报》上的文章《融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断》提出一种基于深层语义特征和浅层纹理特征融合的甲状腺结节良恶性分类算法，但该模型的不足为超声图像中的病灶区域的生成需要医师手工标注，即该模型实用性较低，无法高效实现辅助诊断。此外，超声图像主要为灰度图像，包含甲状腺结节的位置信息和形状信息。临床获得的超声甲状腺图像质量较差，主要表现为散斑噪声严重，结节边缘模糊，边界不连续，对比度低。边缘信息主要集中在图像的高频域中，而高频域中同样会存在大量噪声，其中斑点噪声为影响超声图像质量的主要干扰噪声。这些给甲状腺结节的语义检测带来难度，并最终影响预测结论的准确性。
其次，超声影像识别和检测技术中对数据的处理和运算的要求较高，而现有的检测方法在思路上并未特别针对支持并行计算架构加速进行设计，因此可能存在检测速度较慢的缺点。同时，现有的检测方法也并未对卷积通道参数和层数进行特殊设计，这也会对最终的检测速率带来影响。
发明内容
针对现有的技术方案存在的问题，本发明的目的在于提供一种基于目标检测的甲状腺结节侵袭性预测方法，该方法可以克服传统检测方法难以兼顾结节本身和腺体组织上下文信息从而导致准确率不足的弊端，以及克服传统算法无法实现端到端全自动***的缺陷。
为实现上述目的，本发明提供以下技术方案：
一种基于目标检测的甲状腺结节侵袭性预测方法，该方法包括如下步骤：
S1：采用自适应小波算法对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，得到原始数据集；
S2：构建基于传统Faster RCNN的网络结构的定位网络模型；在定位网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；并对定位网络模型进行预训练；定位网络模型的构建和训练过程包括如下步骤：
S21：采用Faster RCNN作为定位网络，采用ImageNet迁移学习来对网络进行预训练，本地训练的数据采用包含结节的超声图像；
S22：将模型整体调整为边界回归的单一任务网络，本地训练时，增加定位损失的权重；
S23：在定位网络模型中，采用构造多尺度金字塔的方案，同时利用底低层特征和高层特征分别在不同层同时预测甲状腺结节目标的位置；
S24：在定位网络模型中，采用ResNet50+FPN的三层融合特征来生成区域建议，同时在定位网络中的特征提取模块中采用通道注意力机制保障网络定位效果；
S25：在定位网络模型中，采用特征金字塔进行锚点选择，同时舍弃ResNet50第三残差块的输出特征；
S26：在ImageNet预训练权重基础下，利用自制数据集训练定位网络，训练所用数据为true mask对应最小水平外接矩形的角点坐标，定位网络模型的评价标准采用真实矩形框与预测矩形框的dice系数；
S3：对网络模型进行调整，从而利用定位网络对超声图像中的结节形态信息进行提取；利用定位网络输出的矩形坐标点来得到结节的纵横比信息；
S4：构建分类网络模型，所述分类网络模型采用ResNet网络来作为基线网络，分类网络模型中包括并行的特征提取网络Net1和Net2；同时在分类网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；
S5：建立多模型融合的甲状腺结节侵袭性预测网络，所述融合的网络模型对超声图像中甲状腺结节侵袭性的预测处理过程如下：
S51：通过定位网络模型对超声图像中的结节的高精度定位，获取两种不同区域的含结节图像，分别为：(1)只包含结节的图像；(2)除结节外还包含大量周围组织信息图像；
S52：将只包含结节的图像和除结节外还包含大量组织信息图像分别输入到并行的特征提取网络Net1和Net2中；
S53：利用定位网络模型中的预测矩形框输出定位的结节的纵横比信息；
S54：将特征提取网络Net1和Net2提取结节特征与上下文特征通过全局平均池化的方式进行特征拼接，再与定位网络模型所提取到的纵横比信息拼接；
S55：将上步骤拼接的完整信息输入到分类网络模型中的全连接层中进行分类，得出恶性有侵袭、恶性无侵袭或良性结节的预测结论；
S6：对融合的网络模型中的分类网络模型进行训练更新，保存验证集中准确率最高的模型。
进一步地，步骤S1中超声甲状腺图像的预处理方法中自适应小波算法的设计过程如下：
S11：设置小波阈值函数的传统表达式为：
上式中，D为阈值，M为对应层小波域内小波系数总个数，σ为小波域噪声的标准差；
S12：设计小波系数的变换函数
使得当小波系数w的绝对值小于等于小波阈值D时，该系数置零；当小波系数w的绝对数值大于D时，对该系数进行缩减，达到软阈值去噪作用，所述小波系数的变换函数
的表达式为：
上式中，D为阈值，w为小波系数；
S13：在各分解层中引入对应的影响因子，从而将小波阈值函数改进为自适应阈值函数，满足动态滤波的需求；其中，改进后的小波阈值函数的表达式为：
上式中，D为阈值，ec表示第c个分解层中引入的对应的影响因子，σ为小波域噪声的标准差；M为对应层小波域内小波系数总个数。
进一步地，步骤S13中，将小波分解层c的数量设置为3层，即c∈[1,2,3]。
进一步地，步骤S21中，本地训练的数据生成方法为：在生成本地训练所需的xml文件时，只添加结节水平外接矩的一组对角坐标，而并不添加类别信息。
进一步地，步骤S22中，网络损失函数中定位损失权重为1，即只保留定位损失函数。
进一步地，步骤S2和步骤S4中的通道注意力机制通过在block中采用残差注意力模块的方式实现，所述残差注意力模块的处理方法包括如下过程：
特征图在经3×3卷积块处理之后将进入两个支路，在实行通道注意力机制时，特征图首先进行全局平均池化，所有特征图池化后尺寸均为1×1，进而经过三组全连接层FC1、FC2和FC3，三组全连接层中对应的激活函数分别：ReLU、SELU、SELU，在FC1中将输出中的通道数下调为原1/8，最后进入第四组全连接层FC4，FC4输出时则会扩增为原通道数，FC4中通过Sigmoid函数将各通道对应的1×1特征图映射为(0,1)之间的权重标量，各标量与原特征图相乘即实现了通道注意力机制。
进一步地，步骤S3中，定位网络中获取的关于腺体组织的上下文信息包括结节与周边组织区域的上下文信息，所述分类网络中，采用并行双路网络以输入包含不同程度周边组织信息的图像，针对结节自身以及结节周边组织加强特征信息提取；定位网络中获取的关于腺体组织的上下文信息包括三种层次，分别为目标内部的上下文关系、目标与目标之间上下文关系，以及目标与场景之间的关系；三者在图像中的具体体现为：甲状腺结节形态大小不对称、甲状腺左叶和右叶常成对出现，以及甲状腺结节形态大小与峡部位置较为固定。
进一步地，步骤S6中，分类网络模型的训练过程利用pytorch框架完成，采用ImageNet预训练权重对分类网络模型进行训练，训练阶段采用动态学习率和早停法完成；
训练分类网络模型时，根据原始数据集和定位网络模型生成的裁剪数据集，首先利用ImageNet预训练权重分别对Net1与Net2进行独立的分类训练，此过程不添加纵横比信息；然后再将Net1、Net2、纵横比信息添加至分类网络模型中，进行联合训练。
本发明还提供一种基于目标检测的甲状腺结节侵袭性预测***，该***采用前述的基于目标检测的甲状腺结节侵袭性预测方法，实现甲状腺超声图像中的结节侵袭性结论的预测，所述***包括：
预处理模块，其用于对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，获取原始数据集；
定位网络模块，其用于对原始数据集的图像中的甲状腺结节进行准确定位，进而得到只包含结节的新图像数据集以及包含结节和周围组织信息的新图像数据集；同时计算提取结节纵横比信息；
分类网络模块，其用于基于原始图像数据集，定位网络模块生成的裁剪后的新的数据集，以及定位网络模块输出的纵横比信息；兼顾不同视角下的结节区域以及背景组织区域，通过FPN将不同视角下的特征融合复用，同时利用结节定位得到纵横比及上下文信息；对甲状腺超声图像中结节的侵袭性预测结果进行分类，得出结节侵袭性的预测结论。
本发明还提供一种基于目标检测的甲状腺结节侵袭性预测终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行如前述的基于目标检测的甲状腺结节侵袭性预测方法。
本发明提供的一种基于目标检测的甲状腺结节侵袭性预测方法，具有如下有益效果：
本发明中提供的预测方法采用“定位+分类”的two-stage诊断策略，除了改进现行网络架构，还高效利用定位网络来提取额外的高相关性医学判据，兼顾结节本身的特征信息以及与腺体组织的上下文信息，实现了高精度结节诊断预测，提高预测结论的可靠性。
本发明提供的方法可以对甲状腺结节进行准确定位，进而得到只包含结节的新数据并计算提取结节纵横比信息。网络模型能够兼顾不同视角下的结节区域以及背景组织区域，通过FPN将不同视角下的特征融合复用，同时利用结节定位得到纵横比及上下文信息进行精确分类；因此具有更高的预测准确度和灵敏度。
本发明中提供的图像预处理方法可以利用小波变换滤波去噪，对超声图像中高频域内的边缘信息进行保留，并有效剔除噪声。克服超声甲状腺图像质量较差，散斑噪声严重，结节边缘模糊，边界不连续，对比度低的缺陷；从而为提升预测结果的准确度奠定数据基础。
本发明中的方法在测试过程中，以整张图像作为输入，预测是由图像中的全局上下文信息进行引导，支持通用并行计算架构加速，提高了检测速度。同时，在网络设计中，网络中所有卷积核尺度参数均为3×3和1×1，并采用较少卷积核通道参数和较深层数的设计思路，有效提了高检测速率。以上偏向解决处理速度的设计为该预测方法在实际运用过程中的实时性提供了有效保障。
附图说明
下面结合附图对本发明进一步说明。
图1为实施例1中基于目标检测的甲状腺结节侵袭性预测方法的流程图；
图2为实施例1中Faster RCNN网络的结构图；
图3为实施例1中FPN网络的结构图；
图4为实施例1中定位网络模型的示意图；
图5为实施例1中定位网络模型预训练过程中甲状腺结节图像定位测试的定位展示图；
图6为实施例1中定位网络模型预训练过程中甲状腺结节图像定位测试的定位效果对比图；
图7为实施例1中分类网络模型的示意图；
图8为实施例1中分类网络模型预训练过程中的训练曲线图；
图9为实施例1中分类网络模型预训练过程中的分类测试结果统计表；
图10为实施例1中残差注意力模块的示意图；
图11为实施例2中基于目标检测的甲状腺结节侵袭性预测***的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种基于目标检测的甲状腺结节侵袭性预测方法，该方法包括如下S1-S6步骤：
S1：采用自适应小波算法对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，得到原始数据集。
针对甲状腺超声检测图像质量较差，散斑噪声严重，结节边缘模糊，边界不连续，对比度低，以及高频域中边缘信息集中且噪声严重的问题。本实施例中采用自适应小波算法对图像进行预处理。小波滤波是基于小波变化后，将空间域的信号转换到带有时频特性的小波域，然后使用通过阈值来消减噪声映射出的小波系数，进而反变换得到去噪图像。其中，阈值选择是小波滤波器的关键。
小波阈值去噪的基本思想是将信号通过层数为N的小波变换分解后，信号产生的小波系数含有信号的重要信息，将信号经小波分解后小波系数较大，噪声的小波系数较小，并且噪声的小波系数要小于信号的小波系数，通过选取一个合适的阈值，大于阈值的小波系数被认为是由信号产生的，应予以保留，小于阀值的则认为是由噪声产生的，置为零从而达到去噪的目的。在本实施例中，自适应小波算法的设计思路如下：
S11：设置小波阈值函数的传统表达式为：
上式中，D为阈值，M为对应层小波域内小波系数总个数，σ为小波域噪声的标准差；
S12：设计小波系数的变换函数
使得当小波系数w的绝对值小于等于小波阈值D时，该系数置零；当小波系数w的绝对数值大于D时，对该系数进行缩减，达到软阈值去噪作用，所述小波系数的变换函数
的表达式为：
上式中，D为阈值，w为小波系数；
S13：在各分解层中引入对应的影响因子，从而将小波阈值函数改进为自适应阈值函数，满足动态滤波的需求；其中，改进后的小波阈值函数的表达式为：
上式中，D为阈值，ec表示第c个分解层中引入的对应的影响因子，σ为小波域噪声的标准差；M为对应层小波域内小波系数总个数；
S14：将小波分解层的数量设置为3层，即c∈[1,2,3]。
S2：构建基于传统Faster RCNN的网络结构的定位网络模型；在定位网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；并对定位网络模型进行预训练；由于超声影像中本身会存在噪点、模糊且有效信息较少等特点，因此本发明在主体网络模型采用Faster RCNN的基础上，添加算法模型的激活函数，从而增加模型的非线性，达到在高维信息中深度挖掘超声影像中有效特征信息的目的。
其中定位网络模型的示意图如图4所示，定位网络模型的构建和训练过程包括如下步骤：
S21：在本实施例中，采用Faster RCNN作为定位网络，Faster RCNN的网络架构如图2所示，由于甲状腺结节超声数据的小样本限制，因此采用ImageNet迁移学***外接矩的一组对角坐标，而并不添加类别信息。
S22：模型中RPN网络仍为多任务网络(二分类、回归)，而原检测网络的多任务性质降低了网络定位效果，所以模型整体为边界回归的单一任务网络，因此本地训练时，增加了定位损失的权重，进而针对性地提高了Faster RCNN的定位效果。同时，网络损失函数中定位损失权重为1，即在本实施例中只保留定位损失函数。
S23：在定位网络模型中，采用构造多尺度金字塔的方案，同时利用低层特征和高层特征分别在不同层同时预测甲状腺结节目标的位置。
对于大多数深度学习网络，比如VGG、ResNet、Inception等都是利用深度网络的最后一层特征来进行分类。这种方法的优点是速度快、内存占用少，缺点是仅仅关注深层网络中最后一层的特征，却忽略了其它层的特征信息，但是这些信息却可以在一定程度上提升检测的精度。
而在本实施例中，采用的是构造多尺度金字塔方案，FPN网络的架构如图3所示。本实施例之所以同时利用低层特征和高层特征分别在不同的层同时进行预测，是因为在一幅甲状腺结节图像中可能具有多个大小不同的结节目标，区分不同的目标可能需要不同的特征，对于简单的目标仅仅需要浅层的特征就可以检测到，而对于复杂的目标需要利用复杂特征来检测。此外，高级语义特征对小目标的检测精度很低，即小目标结节检测需要注重利用低层特征，因此本实施例在定位网络中采用FPN结构。
S24：在超声图像中，浅层特征包含大量的位置信息，通过特征金字塔将深层语义特征与浅层纹理特征融合，进而可以提高定位网络的区域建议准确性。与传统FPN不同的是，为了降低特征冗余、提升计算效率、降低计算成本，本实施例在定位网络模型中，采用ResNet50+FPN的三层融合特征来生成区域建议，大大降低了定位时间和成本，同时在定位网络中的特征提取模块中采用通道注意力机制保障网络定位效果。
S25：在定位网络模型中，采用特征金字塔进行锚点选择，由于在实际应用中，超声图像尺寸较小，尺寸大都约为500*500，为降低时间成本和计算成本，本实施例中
舍弃ResNet50第三残差块的输出特征；
S26：在ImageNet预训练权重基础下，利用自制数据集作为训练集对定位网络进行训练，训练所用数据为true mask对应最小水平外接矩形的角点坐标，定位网络模型的评价标准采用真实矩形框与预测矩形框的dice系数。
在预训练过程中，通常仅需100轮即可达到很好的训练效果，在本实施例中，测试集共527张图像，有效检测出479例，无效检测48例，准确率达到91％，其中两矩形dice平均值为90.37％。其定位测试展示如图5、图6所示，其中图6为定位结果(矩形框)与true mask的叠加效果展示，从结果看，不论结节形状、大小，定位网络都具有高准确度。
S3：对网络模型进行调整，从而利用定位网络对超声图像中的结节形态信息进行提取；利用定位网络输出的矩形坐标点来得到结节的纵横比信息，并获取局部特征检测所需的关于腺体组织的上下文信息。
在视觉处理问题上通常很大程度依赖于上下文信息，上下文信息主要有两个作用，即消除不确定性、歧义性和减少处理时间。本实施例中，定位网络中获取的关于腺体组织的上下文信息主要包括结节与周边组织区域，对结节性质的诊断不能只依靠结节自身特征信息，还需关注结节与周边区域的相互作用信息。因此，在分类网络中，本实施例采用并行双路网络以输入包含不同程度周边组织信息的图像，除针对结节自身加强特征信息提取，对结节周边组织同样增强特征提取，以此通过所提取的上下文信息提高分类准确率。
本实施例利用高效的定位网络对结节形态信息进行了提取。定位网络精度较高，且定位效果很好，网络输出的坐标与最小外接水平矩形的金标准吻合度高。同时，在甲状腺结节诊断中，纵横比是医师诊断的一个重要参考信息，因此本发明利用定位网络输出的矩形坐标点来得到结节的纵横比信息，并将其应用在后一阶段的分类网络当中，该方法有效提高了网络分类准确率。
S4：构建分类网络模型，所述分类网络模型采用ResNet网络来作为基线网络，分类网络模型中包括并行的特征提取网络Net1和Net2；同时在分类网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；分类网络模型的结构如图7所示。
S5：建立多模型融合的甲状腺结节侵袭性预测网络，所述融合的网络模型对超声图像中甲状腺结节侵袭性的预测处理过程如下：
S51：通过定位网络模型对超声图像中的结节的高精度定位，获取两种不同区域的含结节图像，分别为：(1)只包含结节的图像；(2)除结节外还包含大量环境信息图像；
S52：将只包含结节的图像和除结节外还包含大量环境信息图像分别输入到并行的特征提取网络Net1和Net2中；
S53：利用定位网络模型中的预测矩形框输出定位的结节的纵横比信息；
S54：将特征提取网络Net1和Net2提取的结节特征与上下文特征通过全局平均池化的方式进行特征拼接，再与定位网络模型所提取到的纵横比信息拼接；
S55：将上步骤拼接的完整信息输入到分类网络模型中的全连接层中进行分类，得出恶性有侵袭、恶性无侵袭或良性结节的预测结论；
S6：对融合的网络模型中的分类网络模型进行训练更新，保存验证集中准确率最高的模型。
分类网络模型的训练过程利用pytorch框架完成，采用ImageNet预训练权重对分类网络模型进行训练，训练阶段采用动态学习率和早停法完成；
训练分类网络模型时，根据原始数据集和定位网络模型生成的裁剪数据集，首先利用ImageNet预训练权重分别对Net1与Net2进行独立的分类训练，此过程不添加纵横比信息；然后再将Net1、Net2、纵横比信息添加至分类网络模型中，进行联合训练。训练所用数据为某三甲医院数据集，共4021例影像，训练集、验证集、测试集比例为6:2:2，分配合理。
测试结果如图9所示，在测试实验中，分类网络准确率平均84.3％，特异性达80.85％，灵敏度达87.42％。由于微调时，每一次训练都加载前期已训练得到的最佳模型权重作为预训练权重，所以在图8的训练曲线中可以看出训练曲线的上升较快，在少量epoch下即可快速收敛。
其中，步骤S2和步骤S4中的通道注意力机制通过在block中采用残差注意力模块的方式实现，如图10所示，残差注意力模块的处理方法包括如下过程：
特征图在经3×3卷积块处理之后将进入两个支路，在实行通道注意力机制时，特征图首先进行全局平均池化，所有特征图池化后尺寸均为1×1，进而经过三组全连接层FC1、FC2和FC3，三组全连接层中对应的激活函数分别：ReLU、SELU、SELU，在FC1中将输出中的通道数下调为原1/8，最后进入第四组全连接层FC4，FC4输出时则会扩增为原通道数，FC4中通过Sigmoid函数将各通道对应的1×1特征图映射为(0,1)之间的权重标量，各标量与原特征图相乘即实现了通道注意力机制。
实施例2
如图11所示，本实施例提供一种基于目标检测的甲状腺结节侵袭性预测***，该***采用如实施例1的基于目标检测的甲状腺结节侵袭性预测方法，实现甲状腺超声图像中的结节侵袭性结论的预测，该***包括：
预处理模块，其用于对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，获取原始数据集；
定位网络模块，其用于对原始数据集的图像中的甲状腺结节进行准确定位，进而得到只包含结节的新图像数据集；同时计算提取结节纵横比信息和目标的上下文信息；以及
分类网络模块，其用于基于原始图像数据集，定位网络模块生成的裁剪后的新的数据集，以及定位网络模块输出的纵横比信息；兼顾不同视角下的结节区域以及背景组织区域，通过FPN将不同视角下的特征融合复用，同时利用结节定位得到纵横比及上下文信息；对甲状腺超声图像中结节的侵袭性预测结果进行分类，得出结节侵袭性的预测结论。
实施例3
本实施例提供一种基于目标检测的甲状腺结节侵袭性预测终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行如实施例1的基于目标检测的甲状腺结节侵袭性预测方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于目标检测的甲状腺结节侵袭性预测方法，其特征在于，所述方法包括如下步骤：
S1：采用自适应小波算法对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，得到原始数据集；
S2：构建基于传统Faster RCNN的网络结构的定位网络模型；在定位网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；并对定位网络模型进行预训练；定位网络模型的构建和训练过程包括如下步骤：
S21：采用Faster RCNN作为定位网络，采用ImageNet迁移学习来对网络进行预训练，本地训练的数据采用包含结节的超声图像；
S22：将模型整体调整为边界回归的单一任务网络，本地训练时，增加定位损失的权重；
S23：在定位网络模型中，采用构造多尺度金字塔的方案，同时利用底低层特征和高层特征分别在不同层同时预测甲状腺结节目标的位置；
S24：在定位网络模型中，采用ResNet50+FPN的三层融合特征来生成区域建议，同时在定位网络中的特征提取模块中采用通道注意力机制保障网络定位效果；
S25：在定位网络模型中，采用特征金字塔进行锚点选择，同时舍弃ResNet50第三残差块的输出特征；
S26：在ImageNet预训练权重基础下，利用自制数据集训练定位网络，训练所用数据为true mask对应最小水平外接矩形的角点坐标，定位网络模型的评价标准采用真实矩形框与预测矩形框的dice系数；
S3：对网络模型进行调整，从而利用定位网络对超声图像中的结节形态信息进行提取；利用定位网络输出的矩形坐标点来得到结节的纵横比信息；
S4：构建分类网络模型，所述分类网络模型采用ResNet网络来作为基线网络，分类网络模型中包括并行的特征提取网络Net1和Net2；同时在分类网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；
S5：建立多模型融合的甲状腺结节侵袭性预测网络，所述融合的网络模型对超声图像中甲状腺结节侵袭性的预测处理过程如下：
S51：通过定位网络模型对超声图像中的结节的高精度定位，获取两种不同区域的含结节图像，分别为：(1)只包含结节的图像；(2)除结节外还包含大量周围组织的图像；
S52：将只包含结节的图像和除结节外还包含大量组织信息图像分别输入到并行的特征提取网络Net1和Net2中；
S53：利用定位网络模型中的预测矩形框输出定位的结节的纵横比信息；
S54：将特征提取网络Net1和Net2提取结节特征与上下文特征通过全局平均池化的方式进行特征拼接，再与定位网络模型所提取到的纵横比信息拼接；
S55：将上步骤拼接的完整信息输入到分类网络模型中的全连接层中进行分类，得出恶性有侵袭、恶性无侵袭或良性结节的预测结论；
S6：对融合的网络模型中的分类网络模型进行训练更新，保存验证集中准确率最高的模型。
2.如权利要求1所述的基于目标检测的甲状腺结节侵袭性预测方法，其特征在于：所述步骤S1中超声甲状腺图像的预处理方法中自适应小波算法的设计过程如下：
S11：设置小波阈值函数的传统表达式为：
上式中，D为阈值，M为对应层小波域内小波系数总个数，σ为小波域噪声的标准差；
S12：设计小波系数的变换函数
使得当小波系数w的绝对值小于等于小波阈值D时，该系数置零；当小波系数w的绝对数值大于D时，对该系数进行缩减，达到软阈值去噪作用，所述小波系数的变换函数
的表达式为：
上式中，D为阈值，w为小波系数；
S13：在各分解层中引入对应的影响因子，从而将小波阈值函数改进为自适应阈值函数，满足动态滤波的需求；其中，改进后的小波阈值函数的表达式为：
上式中，D为阈值，ec表示第c个分解层中引入的对应的影响因子，σ为小波域噪声的标准差；M为对应层小波域内小波系数总个数。
3.如权利要求2所述的基于目标检测的甲状腺结节侵袭性预测方法，其特征在于：所述步骤S13中，将小波分解层c的数量设置为3层，即c∈[1,2,3]。
4.如权利要求1所述的基于目标检测的甲状腺结节侵袭性预测方法，其特征在于：所述步骤S21中，本地训练的数据生成方法为：在生成本地训练所需的xml文件时，只添加结节水平外接矩的一组对角坐标，而并不添加类别信息。
5.如权利要求1所述的基于目标检测的甲状腺结节侵袭性预测方法，其特征在于：所述步骤S22中，网络损失函数中定位损失权重为1，即只保留定位损失函数。
6.如权利要求1所述的基于目标检测的甲状腺结节侵袭性预测方法，其特征在于：所述步骤S2和步骤S4中的通道注意力机制通过在block中采用残差注意力模块的方式实现，所述残差注意力模块的处理方法包括如下过程：
特征图在经3×3卷积块处理之后将进入两个支路，在实行通道注意力机制时，特征图首先进行全局平均池化，所有特征图池化后尺寸均为1×1，进而经过三组全连接层FC1、FC2和FC3，三组全连接层中对应的激活函数分别：ReLU、SELU、SELU，在FC1中将输出中的通道数下调为原1/8，最后进入第四组全连接层FC4，FC4输出时则会扩增为原通道数，FC4中通过Sigmoid函数将各通道对应的1×1特征图映射为(0,1)之间的权重标量，各标量与原特征图相乘即实现了通道注意力机制。
7.如权利要求1所述的基于目标检测的甲状腺结节侵袭性预测方法，其特征在于：所述步骤S3中，定位网络中获取的关于腺体组织的上下文信息包括结节与周边组织区域的上下文信息，所述分类网络中，采用并行双路网络以输入包含不同程度周边组织信息的图像，针对结节自身以及结节周边组织加强特征信息提取。
8.如权利要求1所述的基于目标检测的甲状腺结节侵袭性预测方法，其特征在于：所述步骤S6中，分类网络模型的训练过程利用pytorch框架完成，采用ImageNet预训练权重对分类网络模型进行训练，训练阶段采用动态学习率和早停法完成；
训练分类网络模型时，根据原始数据集和定位网络模型生成的裁剪数据集，首先利用ImageNet预训练权重分别对Net1与Net2进行独立的分类训练，此过程不添加纵横比信息；然后再将Net1、Net2、纵横比信息添加至分类网络模型中，进行联合训练。
9.一种基于目标检测的甲状腺结节侵袭性预测***，其特征在于，其采用如权利要求1-8任意一项所述的基于目标检测的甲状腺结节侵袭性预测方法，实现甲状腺超声图像中的结节侵袭性结论的预测，所述***包括：
预处理模块，其用于对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，获取原始数据集；
定位网络模块，其用于对原始数据集的图像中的甲状腺结节进行准确定位，进而得到只包含结节的新图像数据集和包含结节以及大量周围组织的新图像数据集；同时计算提取结节纵横比信息；
分类网络模块，其用于基于原始图像数据集，定位网络模块生成的裁剪后的新的数据集，以及定位网络模块输出的纵横比信息；兼顾不同视角下的结节区域以及背景组织区域，通过FPN将不同视角下的特征融合复用，同时利用结节定位得到纵横比及上下文信息；对甲状腺超声图像中结节的侵袭性预测结果进行分类，得出结节侵袭性的预测结论。
10.一种基于目标检测的甲状腺结节侵袭性预测终端，其包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行如权利要求1-8任意一项所述的基于目标检测的甲状腺结节侵袭性预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110307648.3A CN112927217B (zh) | 2021-03-23 | 2021-03-23 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110307648.3A CN112927217B (zh) | 2021-03-23 | 2021-03-23 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112927217A true CN112927217A (zh) | 2021-06-08 |
| CN112927217B CN112927217B (zh) | 2022-05-03 |
Family
ID=76175522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110307648.3A Active CN112927217B (zh) | 2021-03-23 | 2021-03-23 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927217B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643261A (zh) * | 2021-08-13 | 2021-11-12 | 江南大学 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
| CN113674247A (zh) * | 2021-08-23 | 2021-11-19 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
| CN113723523A (zh) * | 2021-08-31 | 2021-11-30 | 平安科技（深圳）有限公司 | 医学影像的处理方法、装置、计算机设备及存储介质 |
| CN113807516A (zh) * | 2021-09-13 | 2021-12-17 | 长城计算机软件与***有限公司 | 神经网络模型的训练方法及图像检索方法 |
| CN113902983A (zh) * | 2021-12-06 | 2022-01-07 | 南方医科大学南方医院 | 基于目标检测模型的腹腔镜手术组织器官识别方法及装置 |
| CN114708236A (zh) * | 2022-04-11 | 2022-07-05 | 徐州医科大学 | 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法 |
| CN115527059A (zh) * | 2022-08-16 | 2022-12-27 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测***及方法 |
| CN115661429A (zh) * | 2022-11-11 | 2023-01-31 | 四川川锅环保工程有限公司 | 一种锅炉水冷壁管缺陷识别***、方法和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1839397A (zh) * | 2003-08-22 | 2006-09-27 | 西麦恩公司 | 用于处理诸如图像的具有现有拓扑的数据阵列的神经网络和网络应用 |
| CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断*** |
| US20190188541A1 (en) * | 2017-03-17 | 2019-06-20 | Chien-Yi WANG | Joint 3d object detection and orientation estimation via multimodal fusion |
| CN110490892A (zh) * | 2019-07-03 | 2019-11-22 | 中山大学 | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 |
| CN110717518A (zh) * | 2019-09-10 | 2020-01-21 | 北京深睿博联科技有限责任公司 | 基于3d卷积神经网络的持续性肺结节识别方法及装置 |
| CN110991435A (zh) * | 2019-11-27 | 2020-04-10 | 南京邮电大学 | 一种基于深度学习的快递运单关键信息定位方法和装置 |
| CN111291683A (zh) * | 2020-02-08 | 2020-06-16 | 内蒙古大学 | 一种基于深度学习的奶牛个体识别***及其识别方法 |
| CN111326259A (zh) * | 2020-04-03 | 2020-06-23 | 深圳前海微众银行股份有限公司 | 疾病趋势等级确定方法、装置、设备及存储介质 |
| CN112270667A (zh) * | 2020-11-02 | 2021-01-26 | 郑州大学 | 一种基于ti-rads的集成深度学习多标签识别方法 |
| TW202108178A (zh) * | 2019-05-14 | 2021-03-01 | 美商建南德克公司 | 使用抗CD79b免疫結合物治療濾泡性淋巴瘤之方法 |
-
2021
- 2021-03-23 CN CN202110307648.3A patent/CN112927217B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1839397A (zh) * | 2003-08-22 | 2006-09-27 | 西麦恩公司 | 用于处理诸如图像的具有现有拓扑的数据阵列的神经网络和网络应用 |
| US20190188541A1 (en) * | 2017-03-17 | 2019-06-20 | Chien-Yi WANG | Joint 3d object detection and orientation estimation via multimodal fusion |
| CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断*** |
| TW202108178A (zh) * | 2019-05-14 | 2021-03-01 | 美商建南德克公司 | 使用抗CD79b免疫結合物治療濾泡性淋巴瘤之方法 |
| CN110490892A (zh) * | 2019-07-03 | 2019-11-22 | 中山大学 | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 |
| CN110717518A (zh) * | 2019-09-10 | 2020-01-21 | 北京深睿博联科技有限责任公司 | 基于3d卷积神经网络的持续性肺结节识别方法及装置 |
| CN110991435A (zh) * | 2019-11-27 | 2020-04-10 | 南京邮电大学 | 一种基于深度学习的快递运单关键信息定位方法和装置 |
| CN111291683A (zh) * | 2020-02-08 | 2020-06-16 | 内蒙古大学 | 一种基于深度学习的奶牛个体识别***及其识别方法 |
| CN111326259A (zh) * | 2020-04-03 | 2020-06-23 | 深圳前海微众银行股份有限公司 | 疾病趋势等级确定方法、装置、设备及存储介质 |
| CN112270667A (zh) * | 2020-11-02 | 2021-01-26 | 郑州大学 | 一种基于ti-rads的集成深度学习多标签识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| FABIEN H. WAGNER等: "U-Net-Id, an Instance Segmentation Model for Building Extraction from Satellite Images—Case Study in the Joanópolis City, Brazil", 《REMOTE SENSING》 * |
| PINLE QIN等: "Diagnosis of Benign and Malignant Thyroid Nodules Using Combined Conventional Ultrasound and Ultrasound Elasticity Imaging", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》 * |
| ZHIQIANG ZHENG等: "A Novel Diagnostic Network for Thyroid Nodules Based on Dense Soft Attention Mechanism", 《BASIC & CLINICAL PHARMACOLOGY & TOXICOLOGY》 * |
| 李亮等: "基于多特征融合的甲状腺结节良恶性识别", 《软件导刊》 * |
| 翁智等: "基于改进YOLOv3 的高压输电线路关键部件检测方法", 《计算机应用》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643261A (zh) * | 2021-08-13 | 2021-11-12 | 江南大学 | 一种基于频率注意网络的胸肺部疾病诊断方法 |
| CN113674247A (zh) * | 2021-08-23 | 2021-11-19 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
| CN113674247B (zh) * | 2021-08-23 | 2023-09-01 | 河北工业大学 | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 |
| CN113723523A (zh) * | 2021-08-31 | 2021-11-30 | 平安科技（深圳）有限公司 | 医学影像的处理方法、装置、计算机设备及存储介质 |
| CN113807516A (zh) * | 2021-09-13 | 2021-12-17 | 长城计算机软件与***有限公司 | 神经网络模型的训练方法及图像检索方法 |
| CN113902983A (zh) * | 2021-12-06 | 2022-01-07 | 南方医科大学南方医院 | 基于目标检测模型的腹腔镜手术组织器官识别方法及装置 |
| CN113902983B (zh) * | 2021-12-06 | 2022-03-25 | 南方医科大学南方医院 | 基于目标检测模型的腹腔镜手术组织器官识别方法及装置 |
| CN114708236A (zh) * | 2022-04-11 | 2022-07-05 | 徐州医科大学 | 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法 |
| CN115527059A (zh) * | 2022-08-16 | 2022-12-27 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测***及方法 |
| CN115527059B (zh) * | 2022-08-16 | 2024-04-09 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测***及方法 |
| CN115661429A (zh) * | 2022-11-11 | 2023-01-31 | 四川川锅环保工程有限公司 | 一种锅炉水冷壁管缺陷识别***、方法和存储介质 |
| CN115661429B (zh) * | 2022-11-11 | 2023-03-10 | 四川川锅环保工程有限公司 | 一种锅炉水冷壁管缺陷识别***、方法和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112927217B (zh) | 2022-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112927217B (zh) | 一种基于目标检测的甲状腺结节侵袭性预测方法 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测*** | |
| CN111401201B (zh) | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 | |
| CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN110689025B (zh) | 图像识别方法、装置、***及内窥镜图像识别方法、装置 | |
| CN112017198A (zh) | 基于自注意力机制多尺度特征的右心室分割方法及装置 | |
| CN111583210B (zh) | 基于卷积神经网络模型集成的乳腺癌图像自动识别方法 | |
| CN112712528B (zh) | 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法 | |
| CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质 | |
| CN107403438A (zh) | 改进模糊聚类算法的超声图像病灶区分割方法 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割*** | |
| US11935213B2 (en) | Laparoscopic image smoke removal method based on generative adversarial network | |
| CN111275686A (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN114529516A (zh) | 基于多注意力与多任务特征融合的肺结节检测与分类方法 | |
| Zhang et al. | Fully multi-target segmentation for breast ultrasound image based on fully convolutional network | |
| Wang et al. | Automatic measurement of fetal head circumference using a novel GCN-assisted deep convolutional network | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN112950615B (zh) | 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法 | |
| CN111739047A (zh) | 基于双谱重建的舌体图像分割方法及*** | |
| CN114842238B (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| CN116229074A (zh) | 一种递进式边界区域优化的医学图像小样本分割方法 | |
| Helmy et al. | Deep learning and computer vision techniques for microcirculation analysis: A review | |
| CN111598144B (zh) | 图像识别模型的训练方法和装置 | |
| CN111275719B (zh) | 钙化假阳识别及其模型训练的方法、装置、终端及介质 | |
| CN113936006A (zh) | 一种处理高噪低质医学图像的分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |