CN113127661B - 基于循环查询扩展的多监督医学图像检索方法和*** - Google Patents

基于循环查询扩展的多监督医学图像检索方法和*** Download PDF

Info

Publication number
CN113127661B
CN113127661B CN202110376391.7A CN202110376391A CN113127661B CN 113127661 B CN113127661 B CN 113127661B CN 202110376391 A CN202110376391 A CN 202110376391A CN 113127661 B CN113127661 B CN 113127661B
Authority
CN
China
Prior art keywords
medical image
training
sample
triplet
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110376391.7A
Other languages
English (en)
Other versions
CN113127661A (zh
Inventor
石宝荣
任菲
谭光明
刘新宇
刘玉东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202110376391.7A priority Critical patent/CN113127661B/zh
Publication of CN113127661A publication Critical patent/CN113127661A/zh
Application granted granted Critical
Publication of CN113127661B publication Critical patent/CN113127661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于循环查询扩展的多监督医学图像检索方法，包括：以已知医学图像数据集对卷积神经网络进行训练，获得分类模型；以该分类模型对该已知医学图像数据集进行三元组挖掘，以挖掘出的三元组对该分类模型进行训练，以获得图像检索模型；对于目标医学图像，通过该图像检索模型从该已知医学图像数据集获得检索结果。本发明还涉及一种基于循环查询扩展的多监督医学图像检索***，以及一种数据处理装置。本发明的多监督医学图像检索方法采用NM三元组挖掘，解决了仅适用标签信息或仅使用相似标签信息不足以满足CBMIR高精度要求的问题，并提出RQE查询扩展方法，进一步提高了医学图像检索的性能，充分利用了检索结果中的信息。

Description

基于循环查询扩展的多监督医学图像检索方法和***
技术领域
该发明涉及计算机技术领域，特别是涉及一种多监督的基于循环查询扩展的医学图像检索方法及***。
背景技术
在大多数情况下，当医生诊断一副医学图像时，他们需要先将先前诊断过的医学图像拿来进行参考。然而，随着医学图像数量的迅速增长，对其进行标注和诊断的任务也越来越艰苦。为了减轻医生的负担，CBMIR(基于内容的医学图像检索)有望成为帮助计算机辅助诊断的有效技术。
基于内容的医学图像检索是在给定医学图像查询后，搜索出最相似的图像的任务。它主要有两个阶段，一个阶段是可以提取能够描述医学图像的良好特征，第二个阶段是利用提取的特征从数据库中搜索出最相似的图像。第一阶段决定了CBMIR能否完全理解图像，第二阶段决定了模型能否精确地检索相似图像。这两个关键阶段决定了医学图像检索的性能。
在第一阶段——CBMIR理解图像阶段，现存的方法主要是使用图像的分类方法，比如A.Qayyum等人的”Medical Image Retrieval using Deep Convolutional NeuralNetwork”或者度量学习方法，比如Y.-A.Chung等人的”Learning Deep Representationsof Medical Images using Siamese Cnns with Applicationto Content-based ImageRetrieval”；在第二阶段，现有的很多查询扩展方法只对查询结果扩展了一次。
近年来，深度学习方法在计算机视觉和图像处理领域取得了长足的进步和显著的成绩。这也启发了许多专家将该技术应用于医学图像分析。尽管如此，仅凭目前的医学图像检索技术的准确性并不能满足临床实践的需要。现存技术的不足之处的主要有3点。
第一，分类损失和相似性损失是两种不同的损失，一个偏向于蕴含全局的特征，一个偏向于蕴含局部的特征，应该把他们两者结合起来；
第二，目前的医学图像检索技术中，构造三元组的方法过于简单，没有充分结合医学图像的特点。如何构造结合医学图像特点的训练三元组，对以相似度损失驱动的检索模型的准确率起关键作用。
第三，缺少对检索结果的后处理过程，而后处理过程在检索技术中尤为关键，它往往可以使得结果准确率提升至少1个点。
总而言之，目前有关医学图像检索技术还不太多，现有技术还不够成熟，难以满足医院的临床需求。
发明内容
为解决以上问题，本发明提出一种基于循环查询扩展的多监督医学图像检索方法，其特征在于，包括：以已知医学图像数据集对卷积神经网络进行训练，获得分类模型；以该分类模型对该已知医学图像数据集进行三元组挖掘，以挖掘出的三元组对该分类模型进行训练，以获得图像检索模型；对于目标医学图像，通过该图像检索模型从该已知医学图像数据集获得检索结果。
bfm所述的多监督医学图像检索方法，其中对该图像检索模型进行训练的步骤中，分别以第一选取策略和第二选取策略从该训练数据集中选取第一三元组和第二三元组，并以该第一三元组和该第二三元组对该图像检索模型进行训练；该第一选取策略为：当一训练周期内从该训练数据集中检索到的第k个训练图像为本训练周期检索到的第一个负样本时，则以第k-1个训练图像为正样本，将该负样本、该正样本及锚样本形成该第一三元组；该第二选取策略为：当一训练周期内从该训练数据集中检索到的第l个训练图像为检索到的第一个负样本时，选取该负样本后最近的正样本，若该正样本到该负样本的排序距离小于Q，则将该负样本、该正样本及锚样本形成该第二三元组；Q为训练数据集中数目最少一类的类别数目，k、l为正整数，k＞1。
本发明所述的多监督医学图像检索方法，其中该图像检索模型包括第一分支网络和第二分支网络，该第一分支网络包括sumpooling池化层、L2正则化模块和Triplet Loss损失函数Lt，该第二分支网络包括全连接层模块和交叉熵损失函数LC，
m为三元组中负样本到锚样本距离和正样本到锚样本距离的幅度差阈值，q为锚样本特征，d+表示正样本特征，d-表示负样本特征，M表示该训练数据集的总样本数，i、j为该训练数据集中样本的类序号，yc为各样本的真实标签。
该图像检索模型的代价函数为：为Lt和LC的平衡因子，优选/>
本发明所述的多监督医学图像检索方法，通过循环重排方法对该目标医学图像进行检索，该循环重排方法包括：于第1轮检索时，根据该目标医学图像的图像特征进行检索，并在该已知医学图像数据集的N个图像数据库中，分别获得N个第1轮检索结果，并以所有该第1轮检索结果相对于该目标医学图像的相似性分数，构建为第1轮相似性分数矩阵；于第m轮检索时，对相似性分数最大的h+(m-2)Δh个第m-1轮检索结果提取图像特征，并进行平均以得到第m轮检索特征，根据该第m轮检索特征进行检索，获得N个第m轮检索结果，并以所有第m轮检索结果相对于该第m轮检索特征的相似性分数，累加入第m-1轮相似性分数矩阵得到第m轮相似性分数矩阵；对第M轮相似性分数矩阵进行相似性分数排序，以相似性分数最大值对应的第M轮检索结果为最终检索结果；其中，l、m、M、N、Δl为正整数，m∈[2,M]，且满足N＝l+(M-2)Δl。
本发明所述的多监督医学图像检索方法，其中对该图像检索模型进行训练的步骤前，通过autoaugment方法对该已知医学图像数据集的图像进行增强处理，并对增强处理后的图像进行标准化处理。
本发明还提出一种基于循环查询扩展的多监督医学图像检索***，包括：模型训练模块，用于以已知医学图像数据集对卷积神经网络进行训练，获得分类模型；并以该分类模型对该已知医学图像数据集进行三元组挖掘，以挖掘出的三元组对该分类模型进行训练，以获得图像检索模型；图像检索模块，用于对于目标医学图像，通过该图像检索模型从该已知医学图像数据集获得检索结果。
本发明还提出一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如前所述的基于循环查询扩展的多监督医学图像检索方法。
本发明一种数据处理装置，包括如前所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，对目标医学图像执行基于循环查询扩展的多监督医学图像检索。
附图说明
图1是本发明的基于循环查询扩展的多监督医学图像检索方法流程图。
图2是本发明的多监督医学图像检索方法的网络模型结构示意图。
图3是本发明的三元组训练示意图。
图4是本发明的循环重排方法流程图。
图5是本发明的数据处理装置。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。
首先，为了解决现有技术并未结合分类损失和相似性损失两种损失的问题，本发明提出了结合了两种损失的图像检索网络。该图像检索网络包括两个分支网络，一个分支网络用来接分类损失，一个分支网络用来接相似性损失。训练时，两种损失结合起来一起反向传播。
其次，为了解决现有技术中构造三元组方法过于简单，没有结合医学图像特点的问题，本发明提出了一种NM(NeighborMining)的三元组挖掘策略，包含策略A(strategyA)和策略B(strategy B)两种方式，从不同的角度针对医学图像类内差距大，类间差距小的特点来构造三元组。
再次，为了解决现有技术缺少检索结果的后处理过程或者后处理过程过于简单的问题。本发明提出了一种循环重排方法—RQE(recurrent query expansion)。它通过充分利用排序结果中的信息，进一步提高了医学图像检索的性能。
实验结果证明，结合了以上三点的图像检索模型，和现有流行方法相比，大大提升了医学图像CBMIR(Content Based Medical Image Retrieval)检索的效果，使得技术更符合满足临床实践的需要。
图1是本发明的基于循环查询扩展的多监督医学图像检索方法流程图。如图1所示，本发明的医学图像检索方法包括以下步骤：
步骤S1：数据预处理和卷积神经网络的第一阶段训练，包括获取数据集，图像的预处理，和网络的预训练。
步骤S2：三元组挖掘和网络训练，包括制定三元组挖掘策略，构建对应的网络结构并进行解释，以及训练所需的损失函数，设置训练过程中的网络参数等。
步骤S3：特征提取和查询扩展，包括使用训练好的图像检索模型进行特征提取，使用提取的特征进行查询检索，并对首次查询结果进行扩展，以提高最终的检索准确率。
为了更好的解释本发明，以便于理解，下面结合图2，通过具体实施方式，对本发明作详细描述。
步骤S1，数据预处理和网络预训练阶段：
近年来，糖尿病性视网膜病变是世界范围内导致失明的主要因素之一。发明人在实验中使用的数据集是来自Kaggle DR challenge中的糖尿病眼底数据集。它总共包含35135张眼底图像和5种不同的标签(从正常/健康到病情严重)。于本发明的实施例中，按照7:3的比例将数据集划分训练数据集和验证数据集。
首先，建立一个基于卷积神经网络(CNN)的分类网络主干网来训练一个简单的分类模型。考虑到鲁棒性，将autoaugment方法应用到图像处理增强中，经处理的图片被放缩到224x224大小，然后进行标准化，为了解决数据不均衡的问题，每一个训练周期(epoch)，随机均匀地从每一类中选取固定数量的预处理的图像。然后，使用resnet50作为预训练模型训练100个epoch，将选取出的图像构建为训练数据集。
步骤S2，三元组挖掘和网络训练阶段：
现有医学图像检索方法要么只利用类别信息训练网络，要不只利用相似性信息，将两者结合在一起的情况并不多见。然而，与这两种信息有关地损失是不同的，是互补的。本发明提出了图2的网络充分利用了两种互补的损失。CNN主干网络部分，使用的是上一阶段预训练好的除去平均池化层和全连接层的resnet50模型。如图2所示，在主干网络之后该网络包括两个分支网络，第一个分支网络包含一个sum pooling模块和一个L2正则化步骤，后接Triplet Loss损失函数。第二个分支网络包含一个全连接层部分，后接交叉熵(CrossEntropt)损失函数。
其中，Triplet Loss损失函数Lt为：
m为margin变量，margin变量表示三元组中负样本到锚样本的距离和正样本到锚样本之间的距离幅度差阈值，q是三元组锚样本(anchor样本)的特征，d+表示三元组正样本的特征，d-表示三元组负样本的特征。Triplet loss驱动着如图3所示的学习过程：使得正样本P到anchor样本A的距离逐渐小于负样本N到anchor样本的距离，且距离差需要大于某一个margin值。
网络中使用的交叉熵损失LC为：
其中，M表示总的样本数，yc表示三元组各样本的真实标签，i表示训练数据集中第i类标签，j表示训练数据集中第j类标签。
总的代价函数Ltotal为：
其中，是两种损失的平衡因子，通过多次实验结果证明，/>优选为0.1。
在介绍本发明的NM(NeighborMining)三元组挖掘策略之前，首先分析一下三元组挖掘和医学图像的特点。在三元组挖掘中，既不能选择太简单的triplet对，也不能选择太难的triplet对，因为简单的triplet对训练的贡献有限，会导致收敛速度减慢，而太难的对则会导致模型过早地到达一个坏的局部极小值，从而导致模型崩溃。为了在医学图像检索中取得优异的性能，三元组挖掘策略需要考虑医学图像的特点。与自然图像相比，大多数医学图像，如糖尿病眼底图像，更可能在一类样本之间有较大的距离，而在不同的样本之间有较小的距离，不同标签的图像之间的许多细微差别用肉眼很难识别。为了解决这些问题，本发明提出两种策略：
StrategyA：于任一训练周期内，选取检索结果中的第一个类别与query样本不同的样本为负样本，将其下标记录为k；如果这个样本不是排在第一位(k≠1)，那么将第k-1个样本作为正样本，将query样本(作为anchor样本)与负样本、正样本构成一个半难(semi-hard)的triplet对(三元组)。
Strategy B：于任一训练周期内，选取检索结果中的第一个类别与query样本不同的样本为负样本，并且选取这个样本后面的第一个正样本，如果正样本和负样本的排序距离小于搜索范围Q(Q为训练数据集中数目最少一类的类别数目)，将query样本与负样本、正样本构成一个难(hard)的triplet对(三元组)。
query样本是划分在验证数据集中的样本，对图像检索模型进行训练的过程中，当需要检索与某图片相似的其他图片，那么该图片就叫做query样本。
注意，策略A选择两个相邻的排序样本作为三元组中的元素，策略B选择两个距离不超过Q的样本作为三元组中的元素。这两种策略中的正样本和负样本在查询排序中相对接近，表示训练的时候侧重较小的差异。这样，可以缓慢的改变模型以纠正分错的实例，这充分适应了部分医学图像不同类的差别难以用肉眼辨别的特点。每个epoch，同时使用strategyA和strategy B对训练数据集进行三元组挖掘，获得的三元组用于该epoch的网络训练，以获得图像检索模型。
步骤S3，特征提取和查询扩展阶段：
通过图像检索模型对目标图像进行检索时，对目标图像的特征提取选取resnet50模型的conv4的输出，经过sumpooling和L2正则化后的结果作为目标图像的图像特征。图像之间的相似度用特征点积来衡量。为了提高图像检索的准确性，本发明提出了RQE循环重排方法，如图4所示，具体包括：
给定一个列表Q，Q中的每个元素表示循环重排的范围，这个范围是依次递增的。定义初始相似性矩阵为第一次查询得到的相似性分数矩阵，遍历整个列表Q，第i次遍历,选取上一次排序结果的前Q[I]特征平均，进行新的一次查询，并把查询结果计算的相似性分数矩阵加在初始相似性分数矩阵上。等遍历结束，使用这个最终的相似性分数矩阵进行排序，得出最终的检索返回结果。
图4是本发明的循环重排方法流程图。如图4所示，于本发明的实施例，具体包括：
步骤S31，进行第1轮检索，根据该目标医学图像的图像特征进行检索，并在该已知医学图像数据集的N个图像数据库中，分别获得N个第1轮检索结果；
步骤S32，以所有第1轮检索结果相对于目标医学图像的相似性分数，构建为第1轮相似性分数矩阵；
步骤S33，进行第m轮检索，对相似性分数最大的h+(m-2)Δh个第m-1轮检索结果提取图像特征，并进行平均以得到第m轮检索特征；
步骤S34，根据第m轮检索特征进行检索，获得N个第m轮检索结果；
步骤S35，并以所有第m轮检索结果相对于该第m轮检索特征的相似性分数，累加入第m-1轮相似性分数矩阵得到第m轮相似性分数矩阵；
步骤S36，判断是否还有未列入重排范围的第m-1轮检索结果，如果有，则进行步骤S37，如果所有第m-1轮检索结果都已经进行图像特征提取，则进行步骤S38；
步骤S37，按h+(m-2)Δh的规则增加选取上一轮检索结果的范围；并进行步骤S33；
步骤S38，对第M轮(最后一轮)相似性分数矩阵进行相似性分数排序，以相似性分数最大值对应的第M轮检索结果为最终检索结果；
其中，h、m、M、N、Δh为正整数，m∈[2,M]，且满足N＝h+(M-2)Δh。
该方法的伪代码如下所示：
依据此算法生成的Rank数组，可作为最终的查询结果。
以上公开了本发明的多监督医学图像检索方法，在以糖尿病眼底数据集为原始医学图像数据集进行检索的具体实施例，但也可以应用于其他医学图像的查询检索，例如肿瘤医学图像检索等，本发明并不以此为限。
本发明还提出一种计算机可读存储介质，以及一种数据处理装置，如图5所示。本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令被数据处理装置的处理器执行时，实现上述基于循环查询扩展的多监督医学图像检索方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器、FPGA、ASIC等)完成，所述程序可以存储于可读存储介质中，如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
与现有技术相比，本发明具有以下的有益效果：
(1)针对医学图像的特点，提出了一种新的三元组挖掘方法：NM(NeighborMining)。首次将三元组损失和交叉熵损失在医学图像检索领域结合了起来，解决了仅适用标签信息或仅使用相似标签信息不足以满足CBMIR(Content Based MedicalImage Retrieval)高精度要求的问题；
(2)提出一种新的查询扩展方法——RQE，这进一步提高了医学图像检索的性能，充分利用了检索结果中的信息。
(3)与其他流行方法相比，本发明的方法在数据集上取得了一个有竞争力的结果，该模型可以更好地辅助医生的医学诊断工作。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中的普通技术人员，在不脱离本发明的精神和范围内，可以做出若干变形和改进，故本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (9)

1.一种基于循环查询扩展的多监督医学图像检索方法，其特征在于，包括：
以已知医学图像数据集对卷积神经网络进行训练，获得分类模型；以该分类模型对该已知医学图像数据集进行三元组挖掘，以挖掘出的三元组为训练数据集；分别以第一选取策略和第二选取策略从该训练数据集中选取第一三元组和第二三元组，并以该第一三元组和该第二三元组对该分类模型进行训练，以获得图像检索模型；其中，该第一选取策略为：当一训练周期内从该训练数据集中检索到的第k个训练图像为本训练周期检索到的第一个负样本时，则以第k-1个训练图像为正样本，将该负样本、该正样本及锚样本形成该第一三元组；该第二选取策略为：当一训练周期内从该训练数据集中检索到的第l个训练图像为检索到的第一个负样本时，选取该负样本后最近的正样本，若该正样本到该负样本的排序距离小于Q，则将该负样本、该正样本及锚样本形成该第二三元组；Q为训练数据集中数目最少一类的类别数目，k、l为正整数，k＞1；
对于目标医学图像，通过该图像检索模型从该已知医学图像数据集获得检索结果。
2.如权利要求1所述的多监督医学图像检索方法，其特征在于，该图像检索模型包括第一分支网络和第二分支网络，该第一分支网络包括sumpooling池化层、L2正则化模块和Triplet Loss损失函数Lt，该第二分支网络包括全连接层模块和交叉熵损失函数LC，
m为三元组中负样本到锚样本距离和正样本到锚样本距离的幅度差阈值，q为锚样本特征，d+表示正样本特征，d-表示负样本特征，M表示该训练数据集的总样本数，i、j为该训练数据集中样本的类序号，yc为各样本的真实标签。
3.如权利要求2所述的多监督医学图像检索方法，其特征在于，该图像检索模型的代价函数为：
λ为Lt和LC的平衡因子。
4.如权利要求3所述的多监督医学图像检索方法，其特征在于，λ＝0.1。
5.如权利要求1所述的多监督医学图像检索方法，其特征在于，通过循环重排方法对该目标医学图像进行检索，该循环重排方法包括：
于第1轮检索时，根据该目标医学图像的图像特征进行检索，并在该已知医学图像数据集的N个图像数据库中，分别获得N个第1轮检索结果，并以所有该第1轮检索结果相对于该目标医学图像的相似性分数，构建为第1轮相似性分数矩阵；
于第m轮检索时，对相似性分数最大的h+(m-2)Δh个第m-1轮检索结果提取图像特征，并进行平均以得到第m轮检索特征，根据该第m轮检索特征进行检索，获得N个第m轮检索结果，并以所有第m轮检索结果相对于该第m轮检索特征的相似性分数，累加入第m-1轮相似性分数矩阵得到第m轮相似性分数矩阵；
对第M轮相似性分数矩阵进行相似性分数排序，以相似性分数最大值对应的第M轮检索结果为最终检索结果；
其中，h、m、M、N、Δh为正整数，m∈[2,M]，且满足N＝h+(M-2)Δh。
6.如权利要求1所述的多监督医学图像检索方法，其特征在于，对该图像检索模型进行训练的步骤前，通过autoaugment方法对该已知医学图像数据集的图像进行增强处理，并对增强处理后的图像进行标准化处理。
7.一种基于循环查询扩展的多监督医学图像检索***，其特征在于，包括：
模型训练模块，用于以已知医学图像数据集对卷积神经网络进行训练，获得分类模型；并以该分类模型对该已知医学图像数据集进行三元组挖掘，以挖掘出的三元组为训练数据集；分别以第一选取策略和第二选取策略从该训练数据集中选取第一三元组和第二三元组，并以该第一三元组和该第二三元组对该分类模型进行训练，以获得图像检索模型；其中，该第一选取策略为：当一训练周期内从该训练数据集中检索到的第k个训练图像为本训练周期检索到的第一个负样本时，则以第k-1个训练图像为正样本，将该负样本、该正样本及锚样本形成该第一三元组；该第二选取策略为：当一训练周期内从该训练数据集中检索到的第l个训练图像为检索到的第一个负样本时，选取该负样本后最近的正样本，若该正样本到该负样本的排序距离小于Q，则将该负样本、该正样本及锚样本形成该第二三元组；Q为训练数据集中数目最少一类的类别数目，k、l为正整数，k＞1；
图像检索模块，用于对于目标医学图像，通过该图像检索模型从该已知医学图像数据集获得检索结果。
8.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，当该计算机可执行指令被执行时，实现如权利要求1～6任一项所述的基于循环查询扩展的多监督医学图像检索方法。
9.一种数据处理装置，包括如权利要求8所述的计算机可读存储介质，当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时，对目标医学图像执行基于循环查询扩展的多监督医学图像检索。
CN202110376391.7A 2021-04-06 2021-04-06 基于循环查询扩展的多监督医学图像检索方法和*** Active CN113127661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110376391.7A CN113127661B (zh) 2021-04-06 2021-04-06 基于循环查询扩展的多监督医学图像检索方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110376391.7A CN113127661B (zh) 2021-04-06 2021-04-06 基于循环查询扩展的多监督医学图像检索方法和***

Publications (2)

Publication Number Publication Date
CN113127661A CN113127661A (zh) 2021-07-16
CN113127661B true CN113127661B (zh) 2023-09-12

Family

ID=76775285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110376391.7A Active CN113127661B (zh) 2021-04-06 2021-04-06 基于循环查询扩展的多监督医学图像检索方法和***

Country Status (1)

Country Link
CN (1) CN113127661B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918753B (zh) * 2021-07-23 2024-05-28 腾讯科技（深圳）有限公司 基于人工智能的图像检索方法及相关设备
CN113887653B (zh) * 2021-10-20 2024-02-06 西安交通大学 一种基于三元网络的紧耦合弱监督学习的定位方法及***
CN116258725B (zh) * 2023-05-16 2023-08-22 福建自贸试验区厦门片区Manteia数据科技有限公司 基于特征影像的医学图像处理方法、装置以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875076A (zh) * 2018-07-10 2018-11-23 重庆大学 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
CN110134803A (zh) * 2019-05-17 2019-08-16 哈尔滨工程大学 基于哈希学习的图像数据快速检索方法
CN110851645A (zh) * 2019-11-08 2020-02-28 吉林大学 一种基于深度度量学习下相似性保持的图像检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120879B2 (en) * 2013-11-29 2018-11-06 Canon Kabushiki Kaisha Scalable attribute-driven image retrieval and re-ranking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875076A (zh) * 2018-07-10 2018-11-23 重庆大学 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
CN110134803A (zh) * 2019-05-17 2019-08-16 哈尔滨工程大学 基于哈希学习的图像数据快速检索方法
CN110851645A (zh) * 2019-11-08 2020-02-28 吉林大学 一种基于深度度量学习下相似性保持的图像检索方法

Also Published As

Publication number Publication date
CN113127661A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113127661B (zh) 基于循环查询扩展的多监督医学图像检索方法和***
CN110851645B (zh) 一种基于深度度量学习下相似性保持的图像检索方法
CN112766379B (zh) 一种基于深度学习多权重损失函数的数据均衡方法
US8060178B2 (en) System and method for performing probabilistic classification and decision support using multidimensional medical image databases
CN110895561A (zh) 基于多模态知识感知的医疗问答检索方法、***、装置
CN109840290B (zh) 一种基于端到端深度哈希的皮肤镜图像检索方法
CN109935337B (zh) 一种基于相似性度量的病案查找方法及***
JP2005535952A (ja) 画像内容検索法
CN110866134B (zh) 一种面向图像检索的分布一致性保持度量学习方法
CN111000553A (zh) 一种基于投票集成学习的心电数据智能分类方法
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
Ataer-Cansizoglu et al. Analysis of underlying causes of inter-expert disagreement in retinopathy of prematurity diagnosis
CN106776950A (zh) 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法
Liu et al. Application of convolution neural network in medical image processing
Qin et al. Convolutional neural networks and hash learning for feature extraction and of fast retrieval of pulmonary nodules
CN111261283B (zh) 基于金字塔型卷积层的心电信号深度神经网络建模方法
CN116313089B (zh) 一种卒中后房颤风险预测方法、计算机设备及介质
CN116644378A (zh) 一种基于双层嵌套lstm的超长多维时间序列分类方法
CN113887653B (zh) 一种基于三元网络的紧耦合弱监督学习的定位方法及***
CN116645346A (zh) 肩袖扫描图像的处理方法、电子设备及存储介质
CN110472088A (zh) 一种基于草图的图像检索方法
CN114418999B (zh) 基于病变关注金字塔卷积神经网络的视网膜病变检测***
Erwin et al. BVU-Net: A U-net modification by VGG-batch normalization for retinal blood vessel segmentation
CN113011362A (zh) 基于双线性池化与注意力机制的细粒度眼底图像分级算法
Fu et al. Recognition of Medical Images of Eye Diseases in a Deep Learning Perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant