CN114999637B - 多角度编码与嵌入式互学习的病理图像诊断方法与*** - Google Patents

多角度编码与嵌入式互学习的病理图像诊断方法与*** Download PDF

Info

Publication number
CN114999637B
CN114999637B CN202210842318.9A CN202210842318A CN114999637B CN 114999637 B CN114999637 B CN 114999637B CN 202210842318 A CN202210842318 A CN 202210842318A CN 114999637 B CN114999637 B CN 114999637B
Authority
CN
China
Prior art keywords
pathological
transformer
network
pathological tissue
transformer network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210842318.9A
Other languages
English (en)
Other versions
CN114999637A (zh
Inventor
李广丽
吴光庭
许广鑫
李传秀
叶艺源
张红斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202210842318.9A priority Critical patent/CN114999637B/zh
Publication of CN114999637A publication Critical patent/CN114999637A/zh
Application granted granted Critical
Publication of CN114999637B publication Critical patent/CN114999637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种多角度编码与嵌入式互学习的病理图像诊断方法与***，该方法包括：采集病理组织图像数据集，对病理组织图像数据集进行预处理；构建多角度编码Transformer模型；构建嵌入式学习框架，基于嵌入式学习框架对第一Transformer网络与第二Transformer网络执行嵌入式互学习，以分别得到输出的全局特征与局部特征；构建自动融合模块，对全局特征与局部特征进行自动交互融合以得到融合后的特征；将融合后的特征输入至Softmax分类器，以完成病理组织图像的分类诊断。本发明可改善图像特征的表征能力，提升病理图像的分类准确率，更好地辅助医生的临床诊断工作。

Description

多角度编码与嵌入式互学习的病理图像诊断方法与***
技术领域
本发明涉及计算机图像处理技术领域，特别涉及一种多角度编码与嵌入式互学习的病理图像诊断方法与***。
背景技术
病理图像诊断的一般流程为：将活检载玻片上的组织转换成千兆像素的组织病理图像(WSI)，充分保留原始的组织结构；然后设计计算机辅助诊断（CAD）模型，完成病理图像诊断。考虑到组织病理学图像巨大的尺寸以及像素级的标注通常难以获得，当只有图像级别语义标签时，多示例方法是一种有效的解决方法。基于多示例病理图像的计算机辅助诊断属于一种弱监督学习问题。目前，传统的多示例病理图像诊断方法主要存在如下问题：1、传统方法多通过卷积神经网络（CNN）提取图像局部特征，远程依赖和全局特征建模能力较弱，导致病理图像诊断精度不高；2、传统方法多通过增加单个模型的网络深度和宽度来提升诊断精度，这使得诊断模型的网络结构越来越复杂，模型易过拟合且难于训练，更不利于实际部署，严重制约诊断模型的实用价值；3、传统Transformer模型的位置编码是固定的，无法动态感知不同包示例序列之间的相互关系，特征信息无法全面提取，且传统Transformer未聚焦局部特征建模，全局特征和局部特征的互补性未有效使用，这些因素均导致模型诊断精度下降。
基于此，有必要提出一种新的病理图像诊断方法，以解决上述技术问题。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种多角度编码与嵌入式互学习的病理图像诊断方法与***，以解决上述技术问题。
本发明实施例提出一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，所述方法包括如下步骤：
步骤一、采集病理组织图像数据集，对所述病理组织图像数据集进行预处理；
步骤二、构建多角度编码Transformer模型，将经过预处理后的病理组织图像数据集输入至多角度编码Transformer模型中进行处理以进行病理图像分类，其中所述多角度编码Transformer模型由包含动态位置编码的第一Transformer网络与包含软注意力卷积运算编码的第二Transformer网络构成，所述第一Transformer网络用于捕获远程依赖以及全局特征建模，所述第二Transformer网络用于聚焦病理细节提取以及局部特征建模；
步骤三、构建嵌入式学习框架，基于所述嵌入式学习框架对所述第一Transformer网络与所述第二Transformer网络执行嵌入式互学习，以分别得到第一Transformer网络输出的全局特征以及第二Transformer网络输出的局部特征；
步骤四、构建自动融合模块，对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征；
步骤五、将所述融合后的特征输入至Softmax分类器，以完成病理组织图像的分类诊断。
本发明提出一种多角度编码与嵌入式互学习的病理图像诊断方法，通过分割病理组织图像为多个包示例，在一定程度上解决病理图像“尺寸过大，无法训练”的问题；此外，构建多角度编码Transformer模型，多角度编码Transformer模型包括：动态位置编码的第一Transformer网络和包含软注意力卷积运算编码的第二Transformer网络，第一Transformer网络与第二Transformer网络既能捕获图像中远程依赖以增强全局特征建模能力，也可对特征执行软注意力加权以聚焦图像中局部细节信息；最后，设计嵌入式互学习框架，建立第一Transformer网络与第二Transformer网络之间的关联，通过互学习充分挖掘不同网络之间隐含的病理知识，并采用特征融合进一步利用全局特征、局部特征之间的互补性，进而改善图像特征的表征能力，以提升病理图像的分类准确率，从而更好地辅助医生的临床诊断工作。
所述一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，在所述步骤一中，对所述病理组织图像数据集进行预处理的方法包括如下步骤：
对所述病理组织图像数据集进行数字增强与归一化操作；
将经过数字增强与归一化操作后的病理组织图像自动分割成多个不同的块区域，并将所述块区域记作为包示例；
对应的公式表达为：
Figure 916553DEST_PATH_IMAGE001
其中，
Figure 396075DEST_PATH_IMAGE002
表示第
Figure 832873DEST_PATH_IMAGE003
个病理组织图像，
Figure 647114DEST_PATH_IMAGE004
表示病理组织图像分割后的包示例，
Figure 827560DEST_PATH_IMAGE003
表示病理组织图像的序号，
Figure 427168DEST_PATH_IMAGE005
表示包示例的个数。
所述一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，在所述步骤二中，所述包含动态位置编码的第一Transformer网络由第一Transformer层、第二Transformer层以及一个动态位置编码模块构成；
所述第一Transformer层与第二Transformer层用于通过多头注意力机制聚焦包示例之间的交互，以聚合不同包示例的病理组织图像中的形态信息；所述动态位置编码模块由三个不同的卷积核组成，用于通过不同大小的卷积核对病理组织图像的空间信息进行编码，以获取得到全局特征。
所述通过不同大小的卷积核对病理组织图像的空间信息进行编码，以获取得到全局特征的方法包括如下步骤：
将所述病理组织图像中分割得到的包示例经过线性投影后生成块标记和类标记，其中所述块标记中带有包示例的病理信息，对应的表达式为：
Figure 34867DEST_PATH_IMAGE006
其中，
Figure 572290DEST_PATH_IMAGE007
表示线性投影后的包示例对应的病理组织图像的信息，
Figure 556427DEST_PATH_IMAGE008
表示第
Figure 213804DEST_PATH_IMAGE003
个病理组织图像中第
Figure 789142DEST_PATH_IMAGE009
个块标记，
Figure 312396DEST_PATH_IMAGE010
，
Figure 834644DEST_PATH_IMAGE011
表示实数，
Figure 143266DEST_PATH_IMAGE012
表示块标记维度；
将每个所述块标记转换为对应的二维图像，通过不同大小的卷积核对二维图像的空间信息进行动态编码；
通过动态位置编码动态感知不同的包示例之间的相互关系，从而将不同的二维图像的信息融合在一起，以建立不同包示例之间的相关性分数，对应的相关性分数表示为：
Figure 92767DEST_PATH_IMAGE013
其中，
Figure 867432DEST_PATH_IMAGE014
表示相关性分数，
Figure 927792DEST_PATH_IMAGE015
表示包示例，
Figure 356499DEST_PATH_IMAGE016
表示包示例的相关性向量，
Figure 476902DEST_PATH_IMAGE017
表示包示例的相关性向量的空间转置，
Figure 974748DEST_PATH_IMAGE018
表示包示例的维度，
Figure 838799DEST_PATH_IMAGE019
表示知识蒸馏的温度，
Figure 122013DEST_PATH_IMAGE020
表示包示例线性投影之后的其中一个分向量；
根据各所述相关性分数，从全局视角刻画病理组织图像，将所述类标记与所述块标记进行连接，以构造得到全局特征。
所述一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，在所述步骤二中，软注意力卷积运算编码的执行方法包括如下步骤：
将所述病理组织图像中分割得到的包示例经过线性投影后生成块标记和类标记，其中所述块标记中带有包示例的病理信息；
将每个所述块标记转换为对应的二维图像，使用3D卷积核对二维图像的病理特征信息进行编码，以得到特征向量
Figure 413317DEST_PATH_IMAGE021
；
将所述特征向量
Figure 899924DEST_PATH_IMAGE021
输入至软注意力引导的多示例池化层中，以获取得到经软注意力加权后的特征图在不同维度上的多样化特征；
基于所述多样化特征，继续捕捉所述病理组织图像中的关键视觉内容，以得到经软注意力加权的图像细节信息，根据所述经软注意力加权的图像细节信息构造得到局部特征。
所述一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，将所述特征向量输入至软注意力引导的多示例池化层中，以获取得到经软注意力加权后的特征图在不同维度上的多样化特征的步骤中，对应有如下公式：
Figure 567666DEST_PATH_IMAGE022
其中，
Figure 908648DEST_PATH_IMAGE023
表示注意力分数，
Figure 620121DEST_PATH_IMAGE024
表示加权系数，
Figure 640030DEST_PATH_IMAGE025
表示3D权重的参数，
Figure 111462DEST_PATH_IMAGE026
，
Figure 103689DEST_PATH_IMAGE027
表示卷积核的高，
Figure 736796DEST_PATH_IMAGE028
表示卷积核的宽，
Figure 195066DEST_PATH_IMAGE012
表示卷积核的维度，
Figure 204610DEST_PATH_IMAGE029
表示池化层的固定参数，
Figure 51343DEST_PATH_IMAGE030
，
Figure 120930DEST_PATH_IMAGE031
表示3D权重的参数最大值。
所述一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，在所述步骤三中，执行嵌入式学习的方法包括如下步骤：
将包示例输入至所述第一Transformer网络与所述第二Transformer网络中进行互学习，利用第一Transformer网络与第二Transformer网络之间的互补性以挖掘得到隐含的病理知识；其中，所述隐含的病理知识用于准确描述病理组织图像，以提升病理组织图像分类的精度；
将挖掘得到的所述隐含的病理知识，转移到自动融合模块中执行特征融合操作，并将融合后的特征反馈至第一Transformer网络与第二Transformer网络中；
在反馈了融合后的特征的第一Transformer网络、反馈了融合后的特征的第二Transformer网络以及所述自动融合模块之间建立在线嵌入式学习关系。
所述一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，在所述步骤三中，第一Transformer网络的交叉熵损失函数表示为：
Figure 302382DEST_PATH_IMAGE032
其中，
Figure 318879DEST_PATH_IMAGE033
表示第一Transformer网络的交叉熵损失函数，
Figure 20119DEST_PATH_IMAGE034
表示图像标签，
Figure 11340DEST_PATH_IMAGE027
表示对应的类别，
Figure 430820DEST_PATH_IMAGE035
表示第k个块标记，
Figure 782167DEST_PATH_IMAGE036
表示第一Transformer网络的概率输出，
Figure 603492DEST_PATH_IMAGE037
表示知识蒸馏的温度，
Figure 264150DEST_PATH_IMAGE038
表示块标记的最大数量，
Figure 170926DEST_PATH_IMAGE039
表示类别的最大数量，
Figure 325964DEST_PATH_IMAGE040
表示分类指标；
第二Transformer网络的交叉熵损失函数表示为：
Figure 1796DEST_PATH_IMAGE041
其中，
Figure 331890DEST_PATH_IMAGE042
表示第二Transformer网络的交叉熵损失函数，
Figure 725962DEST_PATH_IMAGE043
表示第二Transformer网络的概率输出；
所述第一Transformer网络与第二Transformer网络之间的第一KL散度值表示为：
Figure 419111DEST_PATH_IMAGE044
所述第一Transformer网络与第二Transformer网络之间的第二KL散度值表示为：
Figure 215029DEST_PATH_IMAGE045
其中，
Figure 951910DEST_PATH_IMAGE046
表示第一KL散度值，
Figure 833278DEST_PATH_IMAGE047
表示第二KL散度值，
Figure 330118DEST_PATH_IMAGE048
表示散度值的计算；
Figure 980543DEST_PATH_IMAGE049
Figure 655369DEST_PATH_IMAGE050
其中，
Figure 758454DEST_PATH_IMAGE051
表示第一Transformer网络的logit输出，
Figure 58985DEST_PATH_IMAGE052
表示第二Transformer网络的logit输出。
所述一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，在所述步骤四中，对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征的方法中，对应有如下公式：
Figure 829495DEST_PATH_IMAGE053
其中，
Figure 173758DEST_PATH_IMAGE054
表示特征图融合后的总通道数，
Figure 764139DEST_PATH_IMAGE055
表示第一Transformer网络的通道数，
Figure DEST_PATH_IMAGE056
表示第二Transformer网络的通道数。
本发明还提出一种多角度编码与嵌入式互学习的病理图像诊断***，其中，所述***包括：
预处理模块，用于采集病理组织图像数据集，对所述病理组织图像数据集进行预处理；
多角度编码Transformer模块，用于构建多角度编码Transformer模型，将经过预处理后的病理组织图像数据集输入至多角度编码Transformer模型中进行处理以进行病理图像分类，其中所述多角度编码Transformer模型由包含动态位置编码的第一Transformer网络与包含软注意力卷积运算编码的第二Transformer网络构成，所述第一Transformer网络用于捕获远程依赖以及全局特征建模，所述第二Transformer网络用于聚焦病理细节提取以及局部特征建模；
嵌入式互学习模块，用于构建嵌入式学习框架，基于所述嵌入式学习框架对所述第一Transformer网络与所述第二Transformer网络执行嵌入式互学习，以分别得到第一Transformer网络输出的全局特征以及第二Transformer网络输出的局部特征；
自动融合模块，用于对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征；
病理图像诊断模块，用于将所述融合后的特征输入至Softmax分类器，以完成病理组织图像的分类诊断。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的多角度编码与嵌入式互学习的病理图像诊断方法的流程图；
图2为本发明提出的多角度编码与嵌入式互学习的病理图像诊断方法的网络结构示意图；
图3为本发明提出的嵌入式互学习的流程示意图；
图4 为本发明提出的多角度编码与嵌入式互学习的病理图像诊断***的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1至图3，本发明提出一种多角度编码与嵌入式互学习的病理图像诊断方法，其中，所述方法包括如下步骤：
S101、采集病理组织图像数据集，对病理组织图像数据集进行预处理。
在步骤S101中，对病理组织图像数据集进行预处理的方法包括如下步骤：
S1011、对所述病理组织图像数据集进行数字增强与归一化操作；
S1012、将经过数字增强与归一化操作后的病理组织图像自动分割成多个不同的块区域，并将所述块区域记作为包示例。
其中，对应的公式表达为：
Figure 71624DEST_PATH_IMAGE001
其中，
Figure 444443DEST_PATH_IMAGE002
表示第
Figure 710339DEST_PATH_IMAGE003
个病理组织图像，
Figure 788016DEST_PATH_IMAGE004
表示大尺寸病理组织图像分割后的包示例，
Figure 164771DEST_PATH_IMAGE003
表示病理组织图像的序号，
Figure 893562DEST_PATH_IMAGE005
表示包示例的个数。
S102、构建多角度编码Transformer模型，将经过预处理后的病理组织图像数据集输入至多角度编码Transformer模型中进行处理以进行病理图像分类。
在具体实施例中，多角度编码Transformer模型由包含动态位置编码的第一Transformer网络与包含软注意力卷积运算编码的第二Transformer网络构成。其中，第一Transformer网络用于捕获远程依赖以及全局特征建模，第二Transformer网络用于聚焦病理细节提取以及局部特征建模。
其中，上述包含动态位置编码的第一Transformer网络由第一Transformer层、第二Transformer层以及一个动态位置编码模块构成。具体的，第一Transformer层与第二Transformer层用于通过多头注意力机制聚焦包示例之间的交互，以聚合不同包示例的病理组织图像中的形态信息；动态位置编码模块由三个不同的卷积核（3X3、5X5与7X7）组成，用于通过不同大小的卷积核对病理组织图像的空间信息进行编码，以获取得到全局特征。
一方面，在具体实施例中，通过不同大小的卷积核对病理组织图像的空间信息进行编码，以获取得到全局特征的方法（即动态位置编码模块的执行方法）包括如下步骤：
S1021a、将病理组织图像中分割得到的包示例经过线性投影后生成块标记和类标记，其中块标记中带有包示例的病理信息，对应的表达式为：
Figure 330359DEST_PATH_IMAGE006
其中，
Figure 895333DEST_PATH_IMAGE007
表示线性投影后的包示例对应的病理组织图像的信息，
Figure 75778DEST_PATH_IMAGE008
表示第
Figure 160540DEST_PATH_IMAGE003
个病理组织图像中第
Figure 768239DEST_PATH_IMAGE009
个块标记，
Figure 820509DEST_PATH_IMAGE010
，
Figure 257175DEST_PATH_IMAGE011
表示实数，
Figure 242449DEST_PATH_IMAGE012
表示块标记维度。
S1021b、将每个所述块标记转换为对应的二维图像，通过不同大小的卷积核对二维图像的空间信息进行动态编码。
在本步骤中，通过不同大小的卷积核对二维图像的空间信息进行动态编码，即卷积核根据不同的二维图像进行自适应选择。
S1021c、通过动态位置编码动态感知不同的包示例之间的相互关系，从而将不同的二维图像的信息融合在一起，以建立不同包示例之间的相关性分数，对应的相关性分数表示为：
Figure 21049DEST_PATH_IMAGE013
其中，
Figure 560614DEST_PATH_IMAGE014
表示相关性分数，
Figure 82863DEST_PATH_IMAGE015
表示包示例，
Figure 139287DEST_PATH_IMAGE016
表示包示例的相关性向量，
Figure 88788DEST_PATH_IMAGE017
表示包示例的相关性向量的空间转置，
Figure 115650DEST_PATH_IMAGE018
表示包示例的维度，用于防止输入的值过大，
Figure 176010DEST_PATH_IMAGE019
表示知识蒸馏的温度，
Figure 588406DEST_PATH_IMAGE020
表示包示例线性投影之后的其中一个分向量。
可以理解的，通过该计算可降低计算复杂度，满足多个令牌作为输入的情况，从全局视角准确刻画病理特征。
S1021d、根据各所述相关性分数，从全局视角刻画病理组织图像，将所述类标记与所述块标记进行连接，以构造得到全局特征。
另一方面，软注意力卷积运算编码的执行方法包括如下步骤：
S1022a、将所述病理组织图像中分割得到的包示例经过线性投影后生成块标记和类标记，其中所述块标记中带有包示例的病理信息。
S1022b、将每个所述块标记转换为对应的二维图像，使用3D卷积核对二维图像的病理特征信息进行编码，以得到特征向量
Figure 974388DEST_PATH_IMAGE021
。
S1022c、将所述特征向量
Figure 222966DEST_PATH_IMAGE021
输入至软注意力引导的多示例池化层中，以获取得到经软注意力加权后的特征图在不同维度上的多样化特征。
S1022d、基于所述多样化特征，继续捕捉所述病理组织图像中的关键视觉内容，以得到经软注意力加权的图像细节信息，根据所述经软注意力加权的图像细节信息构造得到局部特征。
具体的，将特征向量输入至软注意力引导的多示例池化层中，以获取得到经软注意力加权后的特征图在不同维度上的多样化特征的步骤中，对应有如下公式：
Figure 87017DEST_PATH_IMAGE022
其中，
Figure 120964DEST_PATH_IMAGE023
表示注意力分数，
Figure 146688DEST_PATH_IMAGE024
表示加权系数，
Figure 882563DEST_PATH_IMAGE025
表示3D权重的参数，
Figure 815884DEST_PATH_IMAGE026
，
Figure 202872DEST_PATH_IMAGE027
表示卷积核的高，
Figure 665077DEST_PATH_IMAGE028
表示卷积核的宽，
Figure 91511DEST_PATH_IMAGE012
表示卷积核的维度，
Figure 334183DEST_PATH_IMAGE029
表示池化层的固定参数，
Figure 326410DEST_PATH_IMAGE030
，
Figure 225096DEST_PATH_IMAGE031
表示3D权重的参数最大值。
S103、构建嵌入式学习框架，基于嵌入式学习框架对第一Transformer网络与第二Transformer网络执行嵌入式互学习，以分别得到第一Transformer网络输出的全局特征以及第二Transformer网络输出的局部特征。
在具体实施例中，嵌入式互学习是指对第一Transformer网络与第二Transformer网络进行在线知识蒸馏。
具体的，执行嵌入式学习的方法包括如下步骤：
S1031、将包示例输入至第一Transformer网络与第二Transformer网络中进行互学习，利用第一Transformer网络与第二Transformer网络之间的互补性以挖掘得到隐含的病理知识。
其中，所述隐含的病理知识用于准确描述病理组织图像，以提升病理组织图像分类的精度。
S1032、将挖掘得到的隐含的病理知识，转移到自动融合模块中执行特征融合操作，并将融合后的特征反馈至第一Transformer网络与第二Transformer网络中；
S1033、在反馈了融合后的特征的第一Transformer网络、反馈了融合后的特征的第二Transformer网络以及自动融合模块之间建立在线嵌入式学习关系。
其中，通过执行嵌入式互学习，既可提高自动融合后的分类性能，也可促进第一Transformer网络和第二Transformer网络各自分类性能的提升。
在嵌入式互学习中，首先计算第一Transformer网络和第二Transformer网络的交叉熵损失。
其中，第一Transformer网络的交叉熵损失函数表示为：
Figure 935563DEST_PATH_IMAGE032
其中，
Figure 663217DEST_PATH_IMAGE033
表示第一Transformer网络的交叉熵损失函数，
Figure 775529DEST_PATH_IMAGE034
表示图像标签，
Figure 845116DEST_PATH_IMAGE027
表示对应的类别，
Figure 777300DEST_PATH_IMAGE035
表示第k个块标记，
Figure 341268DEST_PATH_IMAGE036
表示第一Transformer网络的概率输出，
Figure 42508DEST_PATH_IMAGE037
表示知识蒸馏的温度，
Figure 548575DEST_PATH_IMAGE038
表示块标记的最大数量，
Figure 968055DEST_PATH_IMAGE039
表示类别的最大数量，
Figure 568670DEST_PATH_IMAGE040
表示分类指标；
第二Transformer网络的交叉熵损失函数表示为：
Figure 389995DEST_PATH_IMAGE041
其中，
Figure 801385DEST_PATH_IMAGE042
表示第二Transformer网络的交叉熵损失函数，
Figure 659226DEST_PATH_IMAGE043
表示第二Transformer网络的概率输出。
然后，计算第一Transformer网络与第二Transformer网络之间的第一KL散度值，具体表示为：
Figure 548685DEST_PATH_IMAGE044
第一Transformer网络与第二Transformer网络之间的第二KL散度值表示为：
Figure DEST_PATH_IMAGE057
其中，
Figure 958938DEST_PATH_IMAGE046
表示第一KL散度值，
Figure 790496DEST_PATH_IMAGE047
表示第二KL散度值，
Figure 450148DEST_PATH_IMAGE048
表示散度值的计算。
Figure 346560DEST_PATH_IMAGE049
Figure 627630DEST_PATH_IMAGE050
其中，
Figure 380823DEST_PATH_IMAGE051
表示第一Transformer网络的logit输出，
Figure 262191DEST_PATH_IMAGE052
表示第二Transformer网络的logit输出。
由于第一Transformer网络与第二Transformer网络输出的概率分布之间存在差异性，使用带温度T的 Softmax激活函数促进第一Transformer网络与第二Transformer网络之间的输出概率做互学习，挖掘两个网络间隐含的病理知识，以解决相同的病理图像分类任务，通过多轮迭代最终改善分类精度。
S104、构建自动融合模块，对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征。
在具体实施例中，自动融合模块先提取第一Transformer网络和第二Transformer网络的最后一层前馈网络的特征图，对这两个特征图执行自适应平均池化以匹配它们的大小。
具体过程：将第一Transformer网络和第二Transformer网络最后一个池化层输出的特征图的长度和宽度设置为 1，通过串联操作融合两个特征图，并实现 1×1 逐点卷积，将第一Transformer网络和第二Transformer网络输出的全局特征和局部特征进行自动融合。串联特征图的大小为
Figure DEST_PATH_IMAGE058
，这三个值分别表示通道的长度、宽度和数量。
其中，对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征的方法中，对应有如下公式：
Figure 742720DEST_PATH_IMAGE053
其中，
Figure 393144DEST_PATH_IMAGE054
表示特征图融合后的总通道数，
Figure 254921DEST_PATH_IMAGE055
表示第一Transformer网络的通道数，
Figure 371388DEST_PATH_IMAGE056
表示第二Transformer网络的通道数。
自动融合模块充分利用了来自不同网络的丰富的互补语义信息，包括病理图像的形状、颜色以及纹理等，融合后的特征能更好地刻画病理图像，为提升诊断精度奠定重要基础。
S105、将融合后的特征输入至Softmax分类器，以完成病理组织图像的分类诊断。
本发明提出一种多角度编码与嵌入式互学习的病理图像诊断方法，通过分割病理组织图像为多个包示例，在一定程度上解决病理图像“尺寸过大，无法训练”的问题；此外，构建多角度编码Transformer模型，多角度编码Transformer模型包括：动态位置编码的第一Transformer网络和包含软注意力卷积运算编码的第二Transformer网络，第一Transformer网络与第二Transformer网络既能捕获图像中远程依赖以增强全局特征建模能力，也可对特征执行软注意力加权以聚焦图像中局部细节信息；最后，设计嵌入式互学习框架，建立第一Transformer网络与第二Transformer网络之间的关联，通过互学习充分挖掘不同网络之间隐含的病理知识，并采用特征融合进一步利用全局特征、局部特征之间的互补性，进而改善图像特征的表征能力，以提升病理图像的分类准确率，从而更好地辅助医生的临床诊断工作。
请参阅图4，本发明还提出一种多角度编码与嵌入式互学习的病理图像诊断***，其中，所述***包括：
预处理模块，用于采集病理组织图像数据集，对所述病理组织图像数据集进行预处理；
多角度编码Transformer模块，用于构建多角度编码Transformer模型，将经过预处理后的病理组织图像数据集输入至多角度编码Transformer模型中进行处理以进行病理图像分类，其中所述多角度编码Transformer模型由包含动态位置编码的第一Transformer网络与包含软注意力卷积运算编码的第二Transformer网络构成，所述第一Transformer网络用于捕获远程依赖以及全局特征建模，所述第二Transformer网络用于聚焦病理细节提取以及局部特征建模；
嵌入式互学习模块，用于构建嵌入式学习框架，基于所述嵌入式学习框架对所述第一Transformer网络与所述第二Transformer网络执行嵌入式互学习，以分别得到第一Transformer网络输出的全局特征以及第二Transformer网络输出的局部特征；
自动融合模块，用于对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征；
病理图像诊断模块，用于将所述融合后的特征输入至Softmax分类器，以完成病理组织图像的分类诊断。
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种多角度编码与嵌入式互学习的病理图像诊断方法，其特征在于，所述方法包括如下步骤：
步骤一、采集病理组织图像数据集，对所述病理组织图像数据集进行预处理；
步骤二、构建多角度编码Transformer模型，将经过预处理后的病理组织图像数据集输入至多角度编码Transformer模型中进行处理以进行病理图像分类，其中所述多角度编码Transformer模型由包含动态位置编码的第一Transformer网络与包含软注意力卷积运算编码的第二Transformer网络构成，所述第一Transformer网络用于捕获远程依赖以及全局特征建模，所述第二Transformer网络用于聚焦病理细节提取以及局部特征建模；
步骤三、构建嵌入式学习框架，基于所述嵌入式学习框架对所述第一Transformer网络与所述第二Transformer网络执行嵌入式互学习，以分别得到第一Transformer网络输出的全局特征以及第二Transformer网络输出的局部特征；
步骤四、构建自动融合模块，对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征；
步骤五、将所述融合后的特征输入至Softmax分类器，以完成病理组织图像的分类诊断；
在所述步骤二中，所述包含动态位置编码的第一Transformer网络由第一Transformer层、第二Transformer层以及一个动态位置编码模块构成；
所述第一Transformer层与第二Transformer层用于通过多头注意力机制聚焦包示例之间的交互，以聚合不同包示例的病理组织图像中的形态信息；所述动态位置编码模块由三个不同的卷积核组成，用于通过不同大小的卷积核对病理组织图像的空间信息进行编码，以获取得到全局特征；
所述通过不同大小的卷积核对病理组织图像的空间信息进行编码，以获取得到全局特征的方法包括如下步骤：
将所述病理组织图像中分割得到的包示例经过线性投影后生成块标记和类标记，其中所述块标记中带有包示例的病理信息，对应的表达式为：
Figure 467262DEST_PATH_IMAGE001
其中，
Figure 818609DEST_PATH_IMAGE002
表示线性投影后的包示例对应的病理组织图像的信息，
Figure 639934DEST_PATH_IMAGE003
表示第
Figure 51324DEST_PATH_IMAGE004
个病理组织图像中第
Figure 692521DEST_PATH_IMAGE005
个块标记，
Figure 847559DEST_PATH_IMAGE006
，
Figure 523391DEST_PATH_IMAGE007
表示实数，
Figure 872726DEST_PATH_IMAGE008
表示块标记维度；
将每个所述块标记转换为对应的二维图像，通过不同大小的卷积核对二维图像的空间信息进行动态编码；
通过动态位置编码动态感知不同的包示例之间的相互关系，从而将不同的二维图像的信息融合在一起，以建立不同包示例之间的相关性分数，对应的相关性分数表示为：
Figure 1219DEST_PATH_IMAGE009
其中，
Figure 694368DEST_PATH_IMAGE010
表示相关性分数，
Figure 21444DEST_PATH_IMAGE011
表示包示例，
Figure 774637DEST_PATH_IMAGE012
表示包示例的相关性向量，
Figure 656005DEST_PATH_IMAGE013
表示包示例的相关性向量的空间转置，
Figure 152846DEST_PATH_IMAGE014
表示包示例的维度，
Figure 537691DEST_PATH_IMAGE015
表示知识蒸馏的温度，
Figure 196205DEST_PATH_IMAGE016
表示包示例线性投影之后的其中一个分向量；
根据各所述相关性分数，从全局视角刻画病理组织图像，将所述类标记与所述块标记进行连接，以构造得到全局特征；
在所述步骤二中，软注意力卷积运算编码的执行方法包括如下步骤：
将所述病理组织图像中分割得到的包示例经过线性投影后生成块标记和类标记，其中所述块标记中带有包示例的病理信息；
将每个所述块标记转换为对应的二维图像，使用3D卷积核对二维图像的病理特征信息进行编码，以得到特征向量
Figure 63405DEST_PATH_IMAGE017
；
将所述特征向量
Figure 98357DEST_PATH_IMAGE017
输入至软注意力引导的多示例池化层中，以获取得到经软注意力加权后的特征图在不同维度上的多样化特征；
基于所述多样化特征，继续捕捉所述病理组织图像中的关键视觉内容，以得到经软注意力加权的图像细节信息，根据所述经软注意力加权的图像细节信息构造得到局部特征；
在所述步骤三中，执行嵌入式互学习的方法包括如下步骤：
将包示例输入至所述第一Transformer网络与所述第二Transformer网络中进行互学习，利用第一Transformer网络与第二Transformer网络之间的互补性以挖掘得到隐含的病理知识；其中，所述隐含的病理知识用于准确描述病理组织图像，以提升病理组织图像分类的精度；
将挖掘得到的所述隐含的病理知识，转移到自动融合模块中执行特征融合操作，并将融合后的特征反馈至第一Transformer网络与第二Transformer网络中；
在反馈了融合后的特征的第一Transformer网络、反馈了融合后的特征的第二Transformer网络以及所述自动融合模块之间建立在线嵌入式学习关系。
2.根据权利要求1所述的一种多角度编码与嵌入式互学习的病理图像诊断方法，其特征在于，在所述步骤一中，对所述病理组织图像数据集进行预处理的方法包括如下步骤：
对所述病理组织图像数据集进行数字增强与归一化操作；
将经过数字增强与归一化操作后的病理组织图像自动分割成多个不同的块区域，并将所述块区域记作为包示例；
对应的公式表达为：
Figure 868867DEST_PATH_IMAGE018
其中，
Figure 698282DEST_PATH_IMAGE019
表示第
Figure 350981DEST_PATH_IMAGE004
个病理组织图像，
Figure 189624DEST_PATH_IMAGE020
表示病理组织图像分割后的包示例，
Figure 549061DEST_PATH_IMAGE004
表示病理组织图像的序号，
Figure 549378DEST_PATH_IMAGE021
表示包示例的个数。
3.根据权利要求1所述的一种多角度编码与嵌入式互学习的病理图像诊断方法，其特征在于，将所述特征向量输入至软注意力引导的多示例池化层中，以获取得到经软注意力加权后的特征图在不同维度上的多样化特征的步骤中，对应有如下公式：
Figure 627055DEST_PATH_IMAGE022
其中，
Figure 782573DEST_PATH_IMAGE023
表示注意力分数，
Figure 262096DEST_PATH_IMAGE024
表示加权系数，
Figure 698893DEST_PATH_IMAGE025
表示3D权重的参数，
Figure 60604DEST_PATH_IMAGE026
，
Figure 241050DEST_PATH_IMAGE027
表示卷积核的高，
Figure 575079DEST_PATH_IMAGE028
表示卷积核的宽，
Figure 917199DEST_PATH_IMAGE029
表示卷积核的维度，
Figure 969469DEST_PATH_IMAGE030
表示池化层的固定参数，
Figure 688026DEST_PATH_IMAGE031
，
Figure 640676DEST_PATH_IMAGE032
表示3D权重的参数最大值。
4.根据权利要求1所述的一种多角度编码与嵌入式互学习的病理图像诊断方法，其特征在于，在所述步骤三中，第一Transformer网络的交叉熵损失函数表示为：
Figure 419276DEST_PATH_IMAGE033
其中，
Figure 755580DEST_PATH_IMAGE034
表示第一Transformer网络的交叉熵损失函数，
Figure 277828DEST_PATH_IMAGE035
表示图像标签，
Figure 586450DEST_PATH_IMAGE027
表示对应的类别，
Figure 535951DEST_PATH_IMAGE036
表示第k个块标记，
Figure 31654DEST_PATH_IMAGE037
表示第一Transformer网络的概率输出，
Figure 357594DEST_PATH_IMAGE038
表示知识蒸馏的温度，
Figure 520722DEST_PATH_IMAGE039
表示块标记的最大数量，
Figure 142589DEST_PATH_IMAGE040
表示类别的最大数量，
Figure 656747DEST_PATH_IMAGE041
表示分类指标；
第二Transformer网络的交叉熵损失函数表示为：
Figure 317536DEST_PATH_IMAGE042
其中，
Figure 335170DEST_PATH_IMAGE043
表示第二Transformer网络的交叉熵损失函数，
Figure 892053DEST_PATH_IMAGE044
表示第二Transformer网络的概率输出；
所述第一Transformer网络与第二Transformer网络之间的第一KL散度值表示为：
Figure 627928DEST_PATH_IMAGE045
所述第一Transformer网络与第二Transformer网络之间的第二KL散度值表示为：
Figure 30091DEST_PATH_IMAGE046
其中，
Figure 902232DEST_PATH_IMAGE047
表示第一KL散度值，
Figure 630016DEST_PATH_IMAGE048
表示第二KL散度值，
Figure 351723DEST_PATH_IMAGE049
表示散度值的计算；
Figure 557576DEST_PATH_IMAGE050
Figure 346540DEST_PATH_IMAGE051
其中，
Figure 245226DEST_PATH_IMAGE052
表示第一Transformer网络的logit输出，
Figure 690114DEST_PATH_IMAGE053
表示第二Transformer网络的logit输出。
5.根据权利要求4所述的一种多角度编码与嵌入式互学习的病理图像诊断方法，其特征在于，在所述步骤四中，对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征的方法中，对应有如下公式：
Figure 699658DEST_PATH_IMAGE054
其中，
Figure 546392DEST_PATH_IMAGE055
表示特征图融合后的总通道数，
Figure 350400DEST_PATH_IMAGE056
表示第一Transformer网络的通道数，
Figure 548163DEST_PATH_IMAGE057
表示第二Transformer网络的通道数。
6.一种多角度编码与嵌入式互学习的病理图像诊断***，其特征在于，所述***应用如上述权利要求1至5任意一项所述的多角度编码与嵌入式互学习的病理图像诊断方法，所述***包括：
预处理模块，用于采集病理组织图像数据集，对所述病理组织图像数据集进行预处理；
多角度编码Transformer模块，用于构建多角度编码Transformer模型，将经过预处理后的病理组织图像数据集输入至多角度编码Transformer模型中进行处理以进行病理图像分类，其中所述多角度编码Transformer模型由包含动态位置编码的第一Transformer网络与包含软注意力卷积运算编码的第二Transformer网络构成，所述第一Transformer网络用于捕获远程依赖以及全局特征建模，所述第二Transformer网络用于聚焦病理细节提取以及局部特征建模；
嵌入式互学习模块，用于构建嵌入式学习框架，基于所述嵌入式学习框架对所述第一Transformer网络与所述第二Transformer网络执行嵌入式互学习，以分别得到第一Transformer网络输出的全局特征以及第二Transformer网络输出的局部特征；
自动融合模块，用于对第一Transformer网络输出的全局特征与第二Transformer网络输出的局部特征进行自动交互融合以得到融合后的特征；
病理图像诊断模块，用于将所述融合后的特征输入至Softmax分类器，以完成病理组织图像的分类诊断。
CN202210842318.9A 2022-07-18 2022-07-18 多角度编码与嵌入式互学习的病理图像诊断方法与*** Active CN114999637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210842318.9A CN114999637B (zh) 2022-07-18 2022-07-18 多角度编码与嵌入式互学习的病理图像诊断方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210842318.9A CN114999637B (zh) 2022-07-18 2022-07-18 多角度编码与嵌入式互学习的病理图像诊断方法与***

Publications (2)

Publication Number Publication Date
CN114999637A CN114999637A (zh) 2022-09-02
CN114999637B true CN114999637B (zh) 2022-10-25

Family

ID=83022522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210842318.9A Active CN114999637B (zh) 2022-07-18 2022-07-18 多角度编码与嵌入式互学习的病理图像诊断方法与***

Country Status (1)

Country Link
CN (1) CN114999637B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205300B (zh) * 2022-09-19 2022-12-09 华东交通大学 基于空洞卷积和语义融合的眼底血管图像分割方法与***
CN116403728B (zh) * 2023-06-09 2023-08-29 吉林大学第一医院 医疗就诊数据的数据处理装置和相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216449A1 (ko) * 2018-05-09 2019-11-14 주식회사 알고리고 전력수요 데이터와 이종데이터의 시공간적 융합을 통한 시계열 인공신경망 전기차 전력수요예측 방법 및 장치
CN110739070A (zh) * 2019-09-26 2020-01-31 南京工业大学 一种基于3d卷积神经网络的脑疾病诊断方法
CN111723635A (zh) * 2019-03-20 2020-09-29 北京四维图新科技股份有限公司 实时场景理解***
WO2022006621A1 (en) * 2020-07-06 2022-01-13 Harrison-Ai Pty Ltd Method and system for automated generation of text captions from medical images
CN114241273A (zh) * 2021-12-01 2022-03-25 电子科技大学 基于Transformer网络和超球空间学习的多模态图像处理方法及***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112884010A (zh) * 2021-01-25 2021-06-01 浙江师范大学 基于自编码器的多模态自适应融合深度聚类模型及方法
CN113591770B (zh) * 2021-08-10 2023-07-18 中国科学院深圳先进技术研究院 基于人工智能导盲的多模态融合障碍物检测方法及装置
CN113888744B (zh) * 2021-10-14 2024-06-14 浙江大学 一种基于Transformer视觉上采样模块的图像语义分割方法
CN114283301A (zh) * 2021-11-10 2022-04-05 北京知见生命科技有限公司 一种基于Transformer的自适应医学影像分类方法及***
CN114119977B (zh) * 2021-12-01 2022-12-30 昆明理工大学 一种基于图卷积的Transformer胃癌癌变区域图像分割方法
CN114188020A (zh) * 2021-12-07 2022-03-15 厦门大学附属中山医院 一种基于Transformer-MIL的甲状腺***状癌***转移预测方法
CN114494814A (zh) * 2022-01-27 2022-05-13 北京百度网讯科技有限公司 基于注意力的模型训练方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216449A1 (ko) * 2018-05-09 2019-11-14 주식회사 알고리고 전력수요 데이터와 이종데이터의 시공간적 융합을 통한 시계열 인공신경망 전기차 전력수요예측 방법 및 장치
CN111723635A (zh) * 2019-03-20 2020-09-29 北京四维图新科技股份有限公司 实时场景理解***
CN110739070A (zh) * 2019-09-26 2020-01-31 南京工业大学 一种基于3d卷积神经网络的脑疾病诊断方法
WO2022006621A1 (en) * 2020-07-06 2022-01-13 Harrison-Ai Pty Ltd Method and system for automated generation of text captions from medical images
CN114241273A (zh) * 2021-12-01 2022-03-25 电子科技大学 基于Transformer网络和超球空间学习的多模态图像处理方法及***

Also Published As

Publication number Publication date
CN114999637A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
Zhang et al. A review of deep learning-based semantic segmentation for point cloud
CN114999637B (zh) 多角度编码与嵌入式互学习的病理图像诊断方法与***
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN103577875B (zh) 一种基于fast的计算机辅助cad人数统计方法
Kadam et al. Detection and localization of multiple image splicing using MobileNet V1
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN104240256A (zh) 一种基于层次化稀疏建模的图像显著性检测方法
CN104751175B (zh) 基于增量支持向量机的sar图像多类标场景分类方法
CN108549912A (zh) 一种基于机器学习的医学图像肺结节检测方法
CN111881731A (zh) 基于人体骨架的行为识别方法、***、装置及介质
CN111062928A (zh) 一种医学ct图像中病变的识别方法
CN113269224A (zh) 一种场景图像分类方法、***及存储介质
CN112183541A (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN102509119B (zh) 一种基于分类器的图像场景分层与对象遮挡处理方法
CN106815563A (zh) 一种基于人体表观结构的人群数量预测方法
Yadav et al. An improved deep learning-based optimal object detection system from images
Yang et al. Ai-generated images as data source: The dawn of synthetic era
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
Wang et al. Explainable multitask Shapley explanation networks for real-time polyp diagnosis in videos
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant