CN109685819B - 一种基于特征增强的三维医学图像分割方法 - Google Patents

一种基于特征增强的三维医学图像分割方法 Download PDF

Info

Publication number
CN109685819B
CN109685819B CN201811510480.0A CN201811510480A CN109685819B CN 109685819 B CN109685819 B CN 109685819B CN 201811510480 A CN201811510480 A CN 201811510480A CN 109685819 B CN109685819 B CN 109685819B
Authority
CN
China
Prior art keywords
network
feature
maps
layer
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811510480.0A
Other languages
English (en)
Other versions
CN109685819A (zh
Inventor
丁兴号
黄悦
孙立言
马文骜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201811510480.0A priority Critical patent/CN109685819B/zh
Publication of CN109685819A publication Critical patent/CN109685819A/zh
Application granted granted Critical
Publication of CN109685819B publication Critical patent/CN109685819B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种基于特征增强的三维医学图像分割方法，涉及图像处理领域。构造一种U型卷积神经网络，实现端到端的医学图像分割；将医学图像的多个模态的图像分别作为输入送入到并行的U型卷积神经网络中，得到不同的特征图；提取多个并行网络的特征图并融合，再进行卷积，得到不同特征图各自的权重图；将并行网络各自的体素级权重与原先的特征图相乘，完成特征增强过程；将所有并行网络末端的特征图融合，得到多张概率图，从而得到分割结果。能有效地增强特征图中有用的信息，抑制冗余信息。同时，相较于其他注意力加权方式，该加权方法考虑到了图像的多模态信息和三维信息，从而获得更好的分割效果。

Description

一种基于特征增强的三维医学图像分割方法
技术领域
本发明涉及图像处理领域，尤其是涉及一种基于特征增强的三维医学图像分割方法。
背景技术
图像分割是图像处理和计算机视觉领域中的一个基本问题，特别是医学图像分割，近来已经成为医学图像领域最热门的研究方向之一，其对于临床诊断和治疗有重要的意义。深度学习的概念由Hinton等人于2006年提出，是机器学习领域中的一系列对数据进行多层抽象的算法。近几年，深度学习的出现使图像分割的性能大幅提高，将图像分割带入了一个新的发展阶段。
对于深度学习的卷积神经网络来说，网络中的特征图包含着丰富的图像信息，但很多情况下，特征图的某些信息又是多余的，甚至有可能影响到最终的网络输出结果。于是，学术界开始尝试运用注意力机制，增强特征图中某些区域的有用的信息，抑制部分无用的信息，从而提高网络的性能。目前，注意力机制已经成功运用在一些二维的图像处理任务中，例如超分辨率重建、图像去雨去雾、人体行为识别等。然而，空间注意力机制尚未在多模态的三维图像中得到有效的运用。在医学图像分割领域，一些经典的网络如3D U-Net(
Figure BDA0001900622120000011
Abdulkadir,A.,Lienkamp,S.S.,Brox,T.,Ronneberger,O.,2016.3D U-Net:Learning Dense Volumetric Segmentation from Sparse Annotation.SpringerInternational Publishing,Cham,pp.424-432)，采用编解码网络结构，并将低层网络特征融入到高层网络中，但并没有运用到空间注意力机制。
发明内容
本发明所要解决的技术问题是提供可改善特征图的表征能力，提高图像分割效果的一种基于特征增强的三维医学图像分割方法。
本发明包括以下步骤：
1)构造一种U型卷积神经网络，实现端到端的医学图像分割；
2)将医学图像的多个模态的图像分别作为输入送入到并行的U型卷积神经网络中，得到不同的特征图；
3)提取多个并行网络的特征图并融合，再进行卷积，得到不同特征图各自的权重图；
4)将并行网络各自的体素级权重与原先的特征图相乘，完成特征增强过程；
5)将所有并行网络末端的特征图融合，得到多张概率图，从而得到分割结果。
在步骤1)中，所述构造一种U型卷积神经网络是构造单通路网络结构图，单通路网络结构借鉴医学图像领域常用的U型卷积神经网路，其中包含两次池化与上采样过程，使得网络输出图片与原输入图片尺寸大小相同；每一个卷积层都包含BN层、卷积操作以及使用激活函数激活；同时，在训练阶段，通过在网络浅层加入辅助监督层，将监督信息引入网络浅层，使网络浅层有更多的语义信息；最终网络总的损失函数设定为：
Figure BDA0001900622120000021
其中，X和Y表示输入的训练数据以及分割标签；Θ代表网络的各项参数；对于每一个X，都有一个Y的对应的分割标签Yc，有
Figure BDA0001900622120000022
pc(X,Θ)代表网络输出结果中每个类别中体素级分类的概率；
Figure BDA0001900622120000023
表示第α个辅助监督层的输出结果中每个类别中体素级分类的概率，且两个辅助监督层的权重μα均为0.5；在网络中引入
Figure BDA0001900622120000028
正则化方法，并将正则化系数λ设定为0.0001。
在步骤2)中，所述并行的U型卷积神经网络中，可将各个模态的医学图像分别作为每条网络的输入，在网络末端再将多条网络的特征图融合，以得到最终的分割概率图，同时，在网络进行空间加权时，也将多条网络融合，使得加权后的各个模态的特征图各有侧重。
在步骤3)中，所述提取多个并行网络的特征图并融合的具体方法可为：首先对于网络中的某一层有n张特征图，对于第i张特征图，将所有多路并行网络的第i张特征图提取，如对于MR脑组织分割，其有T1、T1-IR以及T2-FLAIR三种模态，将这三种模态连接，作为三个通道，使用不同的卷积核对其卷积，各自压缩为一个通道，作为不同模态的权重图，过程的表达式为：
Figure BDA0001900622120000024
Figure BDA0001900622120000025
Figure BDA0001900622120000026
其中，
Figure BDA0001900622120000027
代表所得到的不同模态的权重图，l表示其属于第l层的特征图，i表示其属于该层第i张特征图，σ代表使用Sigmoid函数进行激活，Conv3D表示三维卷积操作，其中卷积核大小为9×9×9，
Figure BDA0001900622120000031
表示m模态网络中第l层的第i张特征图。
在步骤4)中，所述将并行网络各自的体素级权重与原先的特征图相乘的公式可为：
Figure BDA0001900622120000032
Figure BDA0001900622120000033
Figure BDA0001900622120000034
其中，fl T1、fl T1-IR、fl T2-FLAIR分别为各个模态第l层的所有的特征图；
Figure BDA0001900622120000035
分别为三个模态的权重图；
Figure BDA0001900622120000036
分别为三个模态加权后的所有的特征图；ReLU代表用ReLU函数进行激活；BN表示经过BN层；Conv3D表示三维卷积操作，其中卷积核大小为3×3×3。
在步骤5)中，所述将所有并行网络末端的特征图融合的具体方法可为：在几条并行网络的末端，将多个模态的特征图融合，再通过卷积的方式，最终得到n张概率图，其中n为分割任务中类别的个数，某一张概率图的某一个体素点的值代表其属于某一类的概率，对所有体素点取其概率最大的那一类别，即得到最终的分割结果。
本发明提出了一种基于特征增强的三维医学图像分割方法，运用空间注意力机制的思想，创造性地提出利用深度卷积求出每个三维特征图的权重，再将得到的权重图同原有的特征图一一相乘，从而达到特征增强的目的。相较于传统的分割网络，该三维特征增强的方式能有效地增强特征图中有用的信息，抑制冗余信息。同时，相较于其他注意力加权方式，该加权方法考虑到了图像的多模态信息和三维信息，从而获得更好的分割效果。
附图说明
图1为单通路网络结构图。
图2为并行网络结构图。
图3为特征增强流程图。
图4为特征增强前后对比图。在图4中，(a)为T1特征图，(b)为T1-IR特征图，(c)为T2-FLAIR特征图。
图5为有无特征增强分割结果对比图。在图5中，(a)为无特征增强(T1)，(b)为有特征增强(T1-IR)，(c)为图像标签(T2-FLAIR)
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述：
根据图1，构造单通路U型卷积神经网络：
该网络结构借鉴医学图像领域常用的U型卷积神经网路，其中包含两次池化与上采样过程，使得网络输出图片与原输入图片尺寸大小相同。每一个卷积层都包含BN层、卷积操作以及使用激活函数激活。同时，在训练阶段，通过在网络浅层加入辅助监督层，将监督信息引入网络浅层，使网络浅层有更多的语义信息。最终网络总的损失函数设定为：
Figure BDA0001900622120000041
其中，X和Y表示输入的训练数据以及分割标签；Θ代表网络的各项参数；对于每一个X，都有一个Y的对应的分割标签Yc，有
Figure BDA0001900622120000042
pc(X,Θ)代表网络输出结果中每个类别中体素级分类的概率；
Figure BDA0001900622120000043
表示第α个辅助监督层的输出结果中每个类别中体素级分类的概率，且两个辅助监督层的权重μα均为0.5；我们在网络中引入
Figure BDA00019006221200000410
正则化方法，并将正则化系数λ设定为0.0001。
根据图2，以MR人脑图像为例，其包含T1、T1-IR、T2-FLAIR三个模态，以这三个模态为输入构造整个分割网络。
根据图3，三维特征增强主要有三个步骤：
步骤1：融合不同模态的特征图，表达式为：
Figure BDA0001900622120000044
其中，
Figure BDA0001900622120000045
分别代表不同模态的单个通道的特征图，l代表其为第l层特征图，i代表是第i个通道的特征图，
Figure BDA0001900622120000046
表示融合后的三通道的特征图。
步骤2：对融合后的特征图进行卷积，表达式为：
Figure BDA0001900622120000047
Figure BDA0001900622120000048
Figure BDA0001900622120000049
具体步骤如下：
1、对于步骤1中所得到三通道的特征图，使用不同的大小为9×9×9进行卷积，分别得到不同的卷积后的结果。
2、对步骤1得到的结果使用ReLU激活函数激活，得到属于不同模态的权重图。
步骤3：原有的特征图和权重图相乘，最终得到空间加权后的结果，如图4所示。有无特征增强分割结果对比如图5所示。
特征图的计算为：
Figure BDA0001900622120000051
Figure BDA0001900622120000052
Figure BDA0001900622120000053
本发明的创造性包括：首次提出了一种三维特征增强方式，通过将网络中的特征图逐通道提取，融合多个模态的特征图，再使用不同的卷积核得到针对不同模态的权重图，将权重图和对应的特征图相乘，从而得到特征增强后的特征图。该加权方法，相较于无加权的深度学习模型，能使网络中的特征图各有侧重，提高特征图的表征能力，得到更好的图像分割结果。

Claims (3)

1.一种基于特征增强的三维医学图像分割方法，其特征在于包括以下步骤：
1)构造一种U型卷积神经网络，实现端到端的医学图像分割；
所述构造一种U型卷积神经网络是构造单通路网络结构图，单通路网络结构借鉴医学图像领域常用的U型卷积神经网路，其中包含两次池化与上采样过程，使得网络输出图片与原输入图片尺寸大小相同；每一个卷积层都包含BN层、卷积操作以及使用激活函数激活；同时，在训练阶段，通过在网络浅层加入辅助监督层，将监督信息引入网络浅层，使网络浅层有更多的语义信息；最终网络总的损失函数设定为：
Figure FDA0002691444450000011
其中，X和Y表示输入的训练数据以及分割标签；Θ代表网络的各项参数；对于每一个X，都有一个Y的对应的分割标签Yc，有
Figure FDA0002691444450000012
pc(X,Θ)代表网络输出结果中每个类别中体素级分类的概率；
Figure FDA0002691444450000018
表示第α个辅助监督层的输出结果中每个类别中体素级分类的概率，且两个辅助监督层的权重μα均为0.5；在网络中引入l2正则化方法，并将正则化系数λ设定为0.0001；
2)将医学图像的多个模态的图像分别作为输入送入到并行的U型卷积神经网络中，得到不同的特征图；
3)提取多个并行网络的特征图并融合，再进行卷积，得到不同特征图各自的权重图；
所述提取多个并行网络的特征图并融合的具体方法为：首先对于网络中的某一层有n张特征图，对于第i张特征图，将所有多路并行网络的第i张特征图提取，对于MR脑组织分割，其有T1、T1-IR以及T2-FLAIR三种模态，将这三种模态连接，作为三个通道，使用不同的卷积核对其卷积，各自压缩为一个通道，作为不同模态的权重图，过程的表达式为：
Figure FDA0002691444450000013
Figure FDA0002691444450000014
Figure FDA0002691444450000015
其中，
Figure FDA0002691444450000016
代表所得到的不同模态的权重图，l表示其属于第l层的特征图，i表示其属于该层第i张特征图，σ代表使用Sigmoid函数进行激活，Conv3D表示三维卷积操作，其中卷积核大小为9×9×9，
Figure FDA0002691444450000017
表示m模态网络中第l层的第i张特征图；
4)将并行网络各自的体素级权重与原先的特征图相乘，完成特征增强过程；
所述将并行网络各自的体素级权重与原先的特征图相乘的公式为：
Figure FDA0002691444450000021
Figure FDA0002691444450000022
Figure FDA0002691444450000023
其中，
Figure FDA0002691444450000024
分别为各个模态第l层的所有的特征图；
Figure FDA0002691444450000025
分别为三个模态的权重图；
Figure FDA0002691444450000026
分别为三个模态加权后的所有的特征图；ReLU代表用ReLU函数进行激活；BN表示经过BN层；Conv3D表示三维卷积操作，其中卷积核大小为3×3×3；
5)将所有并行网络末端的特征图融合，得到多张概率图，从而得到分割结果。
2.如权利要求1所述一种基于特征增强的三维医学图像分割方法，其特征在于在步骤2)中，所述并行的U型卷积神经网络中，是将各个模态的医学图像分别作为每条网络的输入，在网络末端再将多条网络的特征图融合，以得到最终的分割概率图，同时，在网络进行空间加权时，也将多条网络融合，使得加权后的各个模态的特征图各有侧重。
3.如权利要求1所述一种基于特征增强的三维医学图像分割方法，其特征在于在步骤5)中，所述将所有并行网络末端的特征图融合的具体方法为：在几条并行网络的末端，将多个模态的特征图融合，再通过卷积的方式，最终得到n张概率图，其中n为分割任务中类别的个数，某一张概率图的某一个体素点的值代表其属于某一类的概率，对所有体素点取其概率最大的那一类别，即得到最终的分割结果。
CN201811510480.0A 2018-12-11 2018-12-11 一种基于特征增强的三维医学图像分割方法 Expired - Fee Related CN109685819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811510480.0A CN109685819B (zh) 2018-12-11 2018-12-11 一种基于特征增强的三维医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811510480.0A CN109685819B (zh) 2018-12-11 2018-12-11 一种基于特征增强的三维医学图像分割方法

Publications (2)

Publication Number Publication Date
CN109685819A CN109685819A (zh) 2019-04-26
CN109685819B true CN109685819B (zh) 2021-02-26

Family

ID=66187207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811510480.0A Expired - Fee Related CN109685819B (zh) 2018-12-11 2018-12-11 一种基于特征增强的三维医学图像分割方法

Country Status (1)

Country Link
CN (1) CN109685819B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136122B (zh) * 2019-05-17 2023-01-13 东北大学 一种基于注意力深度特征重建的脑mr图像分割方法
CN110232333A (zh) * 2019-05-23 2019-09-13 红云红河烟草(集团)有限责任公司 行为识别***模型训练方法、行为识别方法及***
CN110211140B (zh) * 2019-06-14 2023-04-07 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法
CN110945564B (zh) * 2019-08-13 2023-04-07 香港应用科技研究院有限公司 基于混合上下文cnn模型的医学图像分割
US10937158B1 (en) * 2019-08-13 2021-03-02 Hong Kong Applied Science and Technology Research Institute Company Limited Medical image segmentation based on mixed context CNN model
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110717913B (zh) * 2019-09-06 2022-04-22 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
CN110619633B (zh) * 2019-09-10 2023-06-23 武汉科技大学 一种基于多路滤波策略的肝脏图像分割方法
CN111091044B (zh) * 2019-10-25 2022-04-01 武汉大学 一种面向网约车的车内危险场景识别方法
CN111028173B (zh) * 2019-12-10 2023-11-17 北京百度网讯科技有限公司 图像增强方法、装置、电子设备及可读存储介质
CN111161269B (zh) * 2019-12-23 2024-03-22 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和可读存储介质
CN111614974B (zh) * 2020-04-07 2021-11-30 上海推乐信息技术服务有限公司 一种视频图像修复方法和***
CN111539887B (zh) * 2020-04-21 2023-07-14 温州大学 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN113052173A (zh) * 2021-03-25 2021-06-29 北京百度网讯科技有限公司 样本数据的特征增强方法和装置
CN113658188B (zh) * 2021-08-18 2022-04-01 北京石油化工学院 一种基于改进Unet模型的溶液结晶过程图像语义分割方法
CN113793326A (zh) * 2021-09-18 2021-12-14 北京致远慧图科技有限公司 一种基于图像的疾病识别方法和装置
CN117333777B (zh) * 2023-12-01 2024-02-13 山东元明晴技术有限公司 一种坝体异常识别方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019629B2 (en) * 2016-05-31 2018-07-10 Microsoft Technology Licensing, Llc Skeleton-based action detection using recurrent neural network
US10303977B2 (en) * 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN107220980B (zh) * 2017-05-25 2019-12-03 重庆师范大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108021916B (zh) * 2017-12-31 2018-11-06 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108229580B (zh) * 2018-01-26 2020-12-11 浙江大学 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置

Also Published As

Publication number Publication date
CN109685819A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
CN107292256B (zh) 基于辅任务的深度卷积小波神经网络表情识别方法
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN109949255B (zh) 图像重建方法及设备
WO2021057056A1 (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN110309856A (zh) 图像分类方法、神经网络的训练方法及装置
CN110378381A (zh) 物体检测方法、装置和计算机存储介质
CN111291809B (zh) 一种处理装置、方法及存储介质
CN110188795A (zh) 图像分类方法、数据处理方法和装置
CN108596833A (zh) 超分辨率图像重构方法、装置、设备及可读存储介质
CN109598732B (zh) 一种基于三维空间加权的医学图像分割方法
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
Jiang et al. Cascaded subpatch networks for effective CNNs
CN112529146B (zh) 神经网络模型训练的方法和装置
CN110222718B (zh) 图像处理的方法及装置
WO2022198808A1 (zh) 基于双线性注意力网络的医学影像数据分类方法及***
CN112132145B (zh) 一种基于模型扩展卷积神经网络的图像分类方法及***
Verma et al. Residual squeeze CNDS deep learning CNN model for very large scale places image recognition
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
CN113780249B (zh) 表情识别模型的处理方法、装置、设备、介质和程序产品
US20210042613A1 (en) Techniques for understanding how trained neural networks operate
DE102022100360A1 (de) Framework für maschinelles lernen angewandt bei einer halbüberwachten einstellung, um instanzenverfolgung in einer sequenz von bildframes durchzuführen
Li et al. Robustness comparison between the capsule network and the convolutional network for facial expression recognition
Lin et al. Lateral refinement network for contour detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210226