CN116521915A - 一种相似医学图像的检索方法、***、设备及介质 - Google Patents

一种相似医学图像的检索方法、***、设备及介质 Download PDF

Info

Publication number
CN116521915A
CN116521915A CN202310483530.5A CN202310483530A CN116521915A CN 116521915 A CN116521915 A CN 116521915A CN 202310483530 A CN202310483530 A CN 202310483530A CN 116521915 A CN116521915 A CN 116521915A
Authority
CN
China
Prior art keywords
feature
image
region
matched
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310483530.5A
Other languages
English (en)
Inventor
黄家祥
任大伟
罗飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wanlicloud Medical Information Technology Beijing Co ltd
Original Assignee
Wanlicloud Medical Information Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wanlicloud Medical Information Technology Beijing Co ltd filed Critical Wanlicloud Medical Information Technology Beijing Co ltd
Priority to CN202310483530.5A priority Critical patent/CN116521915A/zh
Publication of CN116521915A publication Critical patent/CN116521915A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种相似医学图像的检索方法、***、设备及介质，涉及医疗影像技术领域。在该方法中，包括以下步骤：调用训练后的特征编码输出网络，特征编码输出网络包括特征提取单元、感兴趣区域划分单元以及特征融合单元；通过特征编码输出网络确定待匹配医学图像的全局形态特征、局部形态特征以及区域位置特征；通过特征融合单元，根据全局形态特征、局部形态特征以及区域位置特征，确定待匹配医学图像的图像特征编码；根据待匹配医学图像的图像特征编码，确定待匹配医学图像的相似医学图像集。通过采用本申请提供的技术方案，基于待匹配医学图像的多方面特征对待匹配医学图像进行完整有效的描述，从而提升相似医学图像的检索方法的准确度。

Description

一种相似医学图像的检索方法、***、设备及介质
技术领域
本申请涉及医疗影像技术领域，尤其是涉及一种相似医学图像的检索方法、***、设备及介质。
背景技术
在医疗诊断方面，医生可以通过检索医学影像库找到多个病人的相似病例，从而对病人的病情做出诊断。图像检索充分发挥了计算机擅长于处理重复任务的优势，可以根据医生给定的输入图像，提取输入图像的有效图像视觉特征，衡量输入图像之间的相似性，并从一个大规模医学影像报告数据库中快速找到与输入图像相关或相似的图像，为医生的诊断提供有效的帮助。
医学图像对比普通图像差别较大，普通图像是RGB三通道8bit图像，而医学图像为单通道的灰度图像，通常动态要有14bit，这就导致医学图像的信息较为难以提取，在相似图像检索上也存在一定的困难。
目前，对于相似医疗图像的检索通常是先对输入图像的单方面图像特征进行提取，再基于单方面图像特征通过一系列相似度算法或相似度模型查找输入图像的相似图像。但输入图像的单方面图像特征很难对输入图像进行完整有效的描述，使得在检索输入图像的相似图像时缺乏有效依据，导致现有的相似医学图像的检索方法准确度不高。
发明内容
为了能够对输入图像进行更完整有效的描述，从而提升相似医学图像的检索方法的准确度，本申请提供一种相似医学图像的检索方法、***、设备及介质。
第一方面，本申请提供了一种相似医学图像的检索方法，所述方法包括以下步骤：调用训练后的特征编码输出网络，所述特征编码输出网络包括特征提取单元、感兴趣区域划分单元以及特征融合单元；
通过所述感兴趣区域划分单元确定待匹配医学图像的感兴趣区域以及所述感兴趣区域的区域位置特征；
通过所述特征提取单元确定所述待匹配医学图像的全局形态特征以及所述感兴趣区域的局部形态特征；
通过所述特征融合单元，根据所述全局形态特征、所述局部形态特征以及所述区域位置特征，确定所述待匹配医学图像的图像特征编码；
根据所述待匹配医学图像的图像特征编码，从影像数据库中确定所述待匹配医学图像的相似医学图像集，所述影像数据库包括多张医学图像以及各所述医学图像对应的图像特征编码。
通过采用上述技术方案，对于给定的待匹配医学图像，一方面提取待匹配医学图像的全局形态特征以对待匹配医学图像进行整体上的描述，另一方面在待匹配医学图像内划分出多个感兴趣区域，提取各感兴趣区域的区域位置特征与局部形态特征，对待匹配医学图像的重点关注区域进行描述；对三方面特征进行融合处理，确定待匹配医学图像的图像特征编码。对待匹配医学图像进行更完整有效的描述，提升相似医学图像的检索方法的准确度。
可选的，在通过所述特征融合单元，根据所述全局形态特征、所述局部形态特征以及所述区域位置特征，确定所述待匹配医学图像的图像特征编码中，进一步包括，基于特征融合算法计算所述图像特征编码，所述特征融合算法具体为：
其中，WMLcode为所述图像特征编码，W为所述全局形态特征，n为所述待匹配医学图像中的所述感兴趣区域的数量，Li为第i个所述感兴趣区域的所述区域位置特征，Mi为第i个所述感兴趣区域的所述局部形态特征，P为第一权重系数，Q为第二权重系数。
通过采用上述技术方案，对三方面特征进行有效融合，使得生成的图像特征编码可以准确的定位待匹配医学图像的整体特征、局部病灶特征以及病灶位置特征，有利于提升相似图像的检索能力。
可选的，所述特征提取单元包括至少一层特征提取层，对于第i层特征提取层，所述第i层特征提取层接受所述第i层特征提取层前面i-1层所述特征提取层作为额外输入，所述第i层特征提取层的输入表示为：
Xi＝[Hi(Xi-1)]+Xi-1；
其中，Xi为所述第i层特征提取层的输入，Hi为非线性转化函数，Xi-1为第i-1层特征提取层的输入。
通过采用上述技术方案，特征提取单元采用更加激进的密集连接方式，所有特征提取层相互连接，每个特征提取层都接受前面所有特征提取层作为其额外输入，从而加强了特征的传递，实现特征重用，提高特征提取效率。
可选的，在根据所述待匹配医学图像的图像特征编码，从影像数据库中确定所述待匹配医学图像的相似医学图像集中，具体包括：
根据编码距离计算公式分别计算所述待匹配医学图像的图像特征编码与所述影像数据库中的所述医学图像的图像特征编码之间的编码距离；
选取与所述待匹配医学图像的所述编码距离最近的前N张所述医学图像作为所述待匹配医学图像的相似医学图像，生成所述待匹配医学图像的相似医学图像集。
通过采用上述技术方案，计算与待匹配医学图像的编码距离最近的医学图像，采用编码距离TOP N的方式对检索到的医学图像进行排序，确定与待匹配医学图像最相似的N张医学图像，更加方便医生对相似图像集的查阅。
可选的，所述编码距离计算公式具体为：
其中，A为所述待匹配医学图像的特征编码，B为所述影像数据库中的所述医学图像的图像特征编码，ai为A的第i位，bi为B的第i位，μa为A的平均值，μb为B的平均值，为A的方差，/>为B的方差，δab为A与B之和的协方差，c1、c2均为稳定常数，P为第三权重系数。
通过采用上述技术方案，使用基于向量空间的模型，将图像特征看作是向量空间中的点，通过计算两个点之间的编码距离接近程度来衡量向量特征间的相似性。增加结构相似性的对比，从而提升形态、分布和纹理相似性来模仿人类感知，使得相似度计算公式贴合相似医学图像检索问题，进一步提升生成的相似图像集与输入图像的相似性。
可选的，在通过所述感兴趣区域划分单元确定待匹配医学图像的感兴趣区域以及所述感兴趣区域的区域位置特征中，具体包括：
将所述待匹配医学图像输入所述感兴趣区域划分单元的特征提取层，提取所述待匹配医学图像的卷积特征图；
将所述卷积特征图输入所述感兴趣区域划分单元的候选区域层，输出若干个所述卷积特征图的候选感兴趣区域；
通过所述感兴趣区域划分单元的边界回归层在所述候选感兴趣区域中选取所述输入图像的所述感兴趣区域；
通过所述感兴趣区域划分单元的分类层对所述感兴趣区域进行分类，基于分类结果提取所述感兴趣区域的所述区域位置特征。
通过采用上述技术方案，从多个候选感兴趣区域中通过边界回归确定出待匹配医学图像的感兴趣区域，在待匹配医学图像上采用锚点框的形式对感兴趣区域进行标注，并根据分类结果确定感兴趣区域的区域位置特征，在局部形态以及局部位置两方面完成了对感兴趣区域的描述。
可选的，在通过所述感兴趣区域划分单元的边界回归层在所述候选感兴趣区域中选取所述输入图像的所述感兴趣区域中，进一步包括：
基于预置的感兴趣区域关注度在所述候选感兴趣区域中选取所述输入图像的所述感兴趣区域。
通过采用上述技术方案，引入感兴趣区域关注度以确定待匹配医学图像的感兴趣区域，从而使得感兴趣区域更加能够体现待匹配医学图像的局部特征。
在本申请的第二方面提供了一种相似医学图像的检索***，所述***包括以下模块：特征编码输出网络调用模块，用于调用训练后的特征编码输出网络，所述特征编码输出网络包括特征提取单元、感兴趣区域划分单元以及特征融合单元；
感兴趣区域划分模块，用于通过所述感兴趣区域划分单元确定待匹配医学图像的感兴趣区域以及所述感兴趣区域的区域位置特征；
形态特征提取模块，用于通过所述特征提取单元确定所述待匹配医学图像的全局形态特征以及所述感兴趣区域的局部形态特征；
图像特征编码生成模块，用于通过所述特征融合单元，根据所述全局形态特征、所述局部形态特征以及所述区域位置特征，确定所述待匹配医学图像的图像特征编码；
相似医学图像集生成模块，用于根据所述待匹配医学图像的图像特征编码，从影像数据库中确定所述待匹配医学图像的相似医学图像集，所述影像数据库包括多张医学图像以及各所述医学图像对应的图像特征编码。
在本申请的第三方面提供了一种电子设备；
在本申请的第四方面提供了一种计算机可读存储介质；
综上所述，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、提取待匹配医学图像的多方面特征，从整体、局部以及局部位置上对待匹配医学图像进行描述，通过特征融合单元融合待匹配医学图像的多方面特征，生成的待匹配医学图像的特征编码对待匹配医学图像进行更完整有效的描述，提升相似医学图像的检索方法的准确度。
2、提出一种所有层相互连接的特征提取单元，特征提取单元的每个特征提取层都接受前面所有特征提取层作为其额外输入，从而加强了特征的传递，实现特征重用，提高特征提取效率。
3、使用基于向量空间的模型，将图像特征看作是向量空间中的点，通过计算两个点之间的编码距离接近程度来衡量向量特征间的相似性。增加结构相似性的对比，从而提升形态、分布和纹理相似性来模仿人类感知，使得相似度计算公式贴合相似医学图像检索问题，进一步提升生成的相似图像集与输入图像的相似性。
附图说明
图1是本申请实施例提供的一种相似医学图像的检索方法的流程示意图。
图2是本申请实施例提供的一种相似医学图像的检索方法中感兴趣区域划分的流程示意图。
图3是本申请实施例提供的一种相似医学图像的检索方法中特征提取单元的网络架构图。
图4是本申请实施例公开的一种相似医学图像的检索***的结构示意图。
图5是本申请实施例的公开的一种电子设备的结构示意图。
附图标记说明：401、特征编码输出网络调用模块；402、感兴趣区域划分模块；403、形态特征提取模块；404、图像特征编码生成模块；405、相似医学图像集生成模块；500、电子设备；501、处理器；502、通信总线；503、用户接口；504、网络接口；505、存储器。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
在本申请实施例的描述中，“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，术语“多个”的含义是指两个或两个以上。例如，多个***是指两个或两个以上的***，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
参照图1，本申请提供了一种相似医学图像的检索方法，该方法具体包括以下步骤：S01：调用训练后的特征编码输出网络，特征编码输出网络包括特征提取单元、感兴趣区域划分单元以及特征融合单元；
具体的，特征编码输出网络在进行相似医学图像检索前，其包含的各个单元中用于承担数据运算或逻辑运算的各类模型已经经过训练，特征编码输出网络中具体包括特征提取单元、感兴趣区域划分单元以及特征融合单元。特征提取单元用于对输入该单元的图像进行形态上的特征的提取；感兴趣区域划分单元用于在待匹配医学图像上划分出多个感兴趣区域，并基于各个感兴趣区域的分类结果确定感兴趣区域对应的区域位置特征；特征融合单元将待匹配医学图像的所有特征基于特征融合算法进行融合处理，输出待匹配医学图像的特征编码。
S02：通过感兴趣区域划分单元确定待匹配医学图像的感兴趣区域以及感兴趣区域的区域位置特征；
具体的，参照图2，待匹配医学图像在经过感兴趣区域划分单元时，在感兴趣区域划分单元内经过特征提取、分类操作以及边界回归后，待匹配医学图像上被划分为多个感兴趣区域，感兴趣区域即待匹配医学图像中需要重点关注的区域，各感兴趣区域还根据分类操作的分类结果添加有对应人***置的标签，基于分类操作的分类结果与感兴趣区域的划分位置，可以确定该感兴趣区域的区域位置特征。
感兴趣区域划分单元具体为一个Faster-RCNN，感兴趣区域划分单元以CNN为架构骨干，当待匹配医学图像输入感兴趣区域划分单元后，感兴趣区域划分单元的特征提取层将对待匹配医学图像的卷积特征图进行提取。在本申请一种可行的实施例中，CNN的网络步幅被设置为16，因此对于输入的1024*1024待匹配医学图像，在经过特征提取层后，输出1024/16*1024/16即64*64的卷积特征图。
由特征提取层输出的卷积特征图将被输入候选区域层，在获选区域层会输出应用于卷积特征图的滑动窗口，对于每个滑动窗口，将会生成多个锚点框，每个锚点框将作为一个获选感兴趣区域。
对于候选区域层的输出结果，将被分别传递到分类层与边界回归层，分类层将基于训练集输出各个候选感兴趣区域的目标分类概率向量，根据目标分类概率向量为各个候选感兴趣区域标注上病灶区域或人***置的对应标签；边界回归层会对各个候选感兴趣区域的锚点框进行位置的回归，使得回归后的锚点框能够更加准确的覆盖目标物体。
基于预设的感兴趣区域关注度在多个候选感兴趣区域中选取待匹配医学图像的感兴趣区域，并获取这些感兴趣区域的分类层的输出结果，作为待匹配医学图像的区域位置特征。
S03：通过特征提取单元确定待匹配医学图像的全局形态特征以及感兴趣区域的局部形态特征；
具体的，参照图3，特征提取单元中的所有特征提取层相互连接，每个特征提取层均会接受其前面所有的特征提取层作为额外输入，通过元素级相加，每个特征提取层与前面的所有特征提取层在通道维度上连接在一起，并作为下一层的输入，每一层特征提取层的输入可以表示为：
Xi＝[Hi(Xi-1)]+Xi-1；
其中，Xi为第i层特征提取层的输入，Hi为非线性转化函数，Xi-1为第i-1层特征提取层的输入。
需要说明的是，Hi代表一系列组合操作，包括BN、ReLU、Pooling以及Conv，因此在特征提取层之间实际上包含多个卷积操作。
特征提取单元用于对待匹配医学图像的全局形态特征以及待匹配医学图像中的各个感兴趣区域的局部形态特征进行提取，在进行形态特征的提取前，特征提取单元已经经过训练，对于特征提取单元的训练过程如下：
从影像数据库中选取医学图像，对选取的每张医学图像随机进行相似变换，相似变换包括对单张医学图像进行放大、缩小、旋转正负10度、高斯模糊、改变对比度以及改变亮度等等变换操作，并将来自于同一张医学图像的变换图像归为同一类，将这些变换图像作为特征提取单元的训练集，对特征提取单元进行分类训练；在训练过程中，选取SGD作为网络优化器，用于特征提取单元的密集连接的性质，导致在进行训练时每次梯度不能过快的下降，因此可以将学习率设定为0.0001；完成对特征提取单元的分类训练后，去除特征提取单元的全连接层，只保留特征提取单元的特征提取层，完成对特征提取单元的训练，此时当医学图像输入特征提取单元时，输出结果即为医学图像的形态特征。
S04：通过特征融合单元，根据全局形态特征、局部形态特征以及区域位置特征，确定待匹配医学图像的图像特征编码；
具体的，特征融合单元基于特征融合算法对待匹配医学图像的全局形态特征、局部形态特征以及区域位置特征进行融合处理，输出待匹配医学图像的图像特征编码，特征融合算法具体为：
其中，WMLcode为图像特征编码，W为全局形态特征，n为待匹配医学图像中的感兴趣区域的数量，Li为第i个感兴趣区域的区域位置特征，Mi为第i个感兴趣区域的所述局部形态特征，P为第一权重系数，Q为第二权重系数，在本申请一种优选的实施例中，P＝0.6，Q＝0.55。
在本申请另一种可行的实施例中，在通过特征融合算法计算待匹配医学图像的图像特征编码之前，对获取到的全局形态特征、局部形态特征以及区域位置特征采用1*1的maxpool进行数据压缩，从而对三方面特征进行跨通道聚合，以减少计算量。
S05：根据待匹配医学图像的图像特征编码，从影像数据库中确定待匹配医学图像的相似医学图像集；
具体的，影像数据库中包含有大量医学图像，以及各医学图像对应的图像特征编码，在构建影像数据库的同时，影像数据库中存放的医学影像经过上文所述的过程，被计算出其对应的图像特征编码，一张医学图像唯一对应有一个图像特征编码。
对于一张待匹配医学图像，计算待匹配医学图像的图像特征编码，将待匹配医学图像的图像特征编码与影像数据库中的全部医学图像的图像特征编码进行编码距离的计算，对编码距离的计算基于编码距离计算公式，编码距离计算公式具体为：
其中，A为待匹配医学图像的特征编码，B为影像数据库中的医学图像的图像特征编码，ai为A的第i位，bi为B的第i位，μa为A的平均值，μb为B的平均值，为A的方差，/>为B的方差，δab为A与B之和的协方差，c1、c2均为稳定常数，P为第三权重系数，在本申请一种优选的实施例中，P＝0.65。
根据编码距离计算公式，得出待匹配医学图像与影像数据库中的全部医学图像的编码距离，根据待匹配医学图像与影像数据库中的全部医学图像的编码距离对影像数据库中的全部医学图像进行排序，选取与待匹配医学图像的编码距离最近的前N张医学图像作为待匹配医学图像的相似医学图像，生成待匹配医学图像的相似医学图像集，完成待匹配医学图像的相似图像检索。
参照图4，本申请还提供了一种相似医学图像的检索***，该***具体包括以下模块：特征编码输出网络调用模块401，用于调用训练后的特征编码输出网络，特征编码输出网络包括特征提取单元、感兴趣区域划分单元以及特征融合单元；
感兴趣区域划分模块402，用于通过感兴趣区域划分单元确定待匹配医学图像的感兴趣区域以及感兴趣区域的区域位置特征；
形态特征提取模块403，用于通过特征提取单元确定待匹配医学图像的全局形态特征以及感兴趣区域的局部形态特征；
图像特征编码生成模块404，用于通过特征融合单元，根据全局形态特征、局部形态特征以及区域位置特征，确定待匹配医学图像的图像特征编码；
相似医学图像集生成模块405，用于根据待匹配医学图像的图像特征编码，从影像数据库中确定待匹配医学图像的相似医学图像集，影像数据库包括多张医学图像以及各医学图像对应的图像特征编码。
需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请还公开一种电子设备500。参照图5，图5是本申请实施例的公开的一种电子设备500的结构示意图。该电子设备500可以包括：至少一个处理器501，至少一个网络接口504，用户接口503，存储器505，至少一个通信总线502。
其中，通信总线502用于实现这些组件之间的连接通信。
其中，用户接口503可以包括显示屏(Display)、摄像头(Camera)，可选用户接口503还可以包括标准的有线接口、无线接口。
其中，网络接口504可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器501可以包括一个或者多个处理核心。处理器501利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器505内的指令、程序、代码集或指令集，以及调用存储在存储器505内的数据，执行服务器的各种功能和处理数据。可选的，处理器501可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器501可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器501中，单独通过一块芯片进行实现。
其中，存储器505可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器505包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器505可用于存储指令、程序、代码、代码集或指令集。存储器505可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器505可选的还可以是至少一个位于远离前述处理器501的存储装置。参照图5，作为一种计算机存储介质的存储器505中可以包括操作***、网络通信模块、用户接口模块以及一种相似医学图像的检索方法的应用程序。
在图5所示的电子设备500中，用户接口503主要用于为用户提供输入的接口，获取用户输入的数据；而处理器501可以用于调用存储器505中存储一种相似医学图像的检索方法的应用程序，当由一个或多个处理器501执行时，使得电子设备500执行如上述实施例中一个或多个所述的方法。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几种实施方式中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器505中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器505中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器505包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种相似医学图像的检索方法，其特征在于，所述方法包括以下步骤：
调用训练后的特征编码输出网络，所述特征编码输出网络包括特征提取单元、感兴趣区域划分单元以及特征融合单元；
通过所述感兴趣区域划分单元确定待匹配医学图像的感兴趣区域以及所述感兴趣区域的区域位置特征；
通过所述特征提取单元确定所述待匹配医学图像的全局形态特征以及所述感兴趣区域的局部形态特征；
通过所述特征融合单元，根据所述全局形态特征、所述局部形态特征以及所述区域位置特征，确定所述待匹配医学图像的图像特征编码；
根据所述待匹配医学图像的图像特征编码，从影像数据库中确定所述待匹配医学图像的相似医学图像集，所述影像数据库包括多张医学图像以及各所述医学图像对应的图像特征编码。
2.根据权利要求1所述的相似医学图像的检索方法，其特征在于，在通过所述特征融合单元，根据所述全局形态特征、所述局部形态特征以及所述区域位置特征，确定所述待匹配医学图像的图像特征编码中，进一步包括，基于特征融合算法计算所述图像特征编码，所述特征融合算法具体为：
其中，WMLcode为所述图像特征编码，W为所述全局形态特征，n为所述待匹配医学图像中的所述感兴趣区域的数量，Li为第i个所述感兴趣区域的所述区域位置特征，Mi为第i个所述感兴趣区域的所述局部形态特征，P为第一权重系数，Q为第二权重系数。
3.根据权利要求1所述的相似医学图像的检索方法，其特征在于：
所述特征提取单元包括至少一层特征提取层，对于第i层特征提取层，所述第i层特征提取层接受所述第i层特征提取层前面i-1层所述特征提取层作为额外输入，所述第i层特征提取层的输入表示为：
Xi＝[Hi(Xi-1)]+Xi-1；
其中，Xi为所述第i层特征提取层的输入，Hi为非线性转化函数，Xi-1为第i-1层特征提取层的输入。
4.根据权利要求1所述的相似医学图像的检索方法，其特征在于，在根据所述待匹配医学图像的图像特征编码，从影像数据库中确定所述待匹配医学图像的相似医学图像集中，具体包括：
根据编码距离计算公式分别计算所述待匹配医学图像的图像特征编码与所述影像数据库中的所述医学图像的图像特征编码之间的编码距离；
选取与所述待匹配医学图像的所述编码距离最近的前N张所述医学图像作为所述待匹配医学图像的相似医学图像，生成所述待匹配医学图像的相似医学图像集。
5.根据权利要求4所述的相似医学图像的检索方法，其特征在于，所述编码距离计算公式具体为：
其中，A为所述待匹配医学图像的特征编码，B为所述影像数据库中的所述医学图像的图像特征编码，ai为A的第i位，bi为B的第i位，μa为A的平均值，μb为B的平均值，为A的方差，/>为B的方差，δab为A与B之和的协方差，c1、c2均为稳定常数，P为第三权重系数。
6.根据权利要求1所述的相似医学图像的检索方法，其特征在于，在通过所述感兴趣区域划分单元确定待匹配医学图像的感兴趣区域以及所述感兴趣区域的区域位置特征中，具体包括：
将所述待匹配医学图像输入所述感兴趣区域划分单元的特征提取层，提取所述待匹配医学图像的卷积特征图；
将所述卷积特征图输入所述感兴趣区域划分单元的候选区域层，输出若干个所述卷积特征图的候选感兴趣区域；
通过所述感兴趣区域划分单元的边界回归层在所述候选感兴趣区域中选取所述输入图像的所述感兴趣区域；
通过所述感兴趣区域划分单元的分类层对所述感兴趣区域进行分类，基于分类结果提取所述感兴趣区域的所述区域位置特征。
7.根据权利要求6所述的相似医学图像的检索方法，其特征在于，在通过所述感兴趣区域划分单元的边界回归层在所述候选感兴趣区域中选取所述输入图像的所述感兴趣区域中，进一步包括：
基于预置的感兴趣区域关注度在所述候选感兴趣区域中选取所述输入图像的所述感兴趣区域。
8.一种相似医学图像的检索***，其特征在于，所述***包括：
特征编码输出网络调用模块(401)，用于调用训练后的特征编码输出网络，所述特征编码输出网络包括特征提取单元、感兴趣区域划分单元以及特征融合单元；
感兴趣区域划分模块(402)，用于通过所述感兴趣区域划分单元确定待匹配医学图像的感兴趣区域以及所述感兴趣区域的区域位置特征；
形态特征提取模块(403)，用于通过所述特征提取单元确定所述待匹配医学图像的全局形态特征以及所述感兴趣区域的局部形态特征；
图像特征编码生成模块(404)，用于通过所述特征融合单元，根据所述全局形态特征、所述局部形态特征以及所述区域位置特征，确定所述待匹配医学图像的图像特征编码；
相似医学图像集生成模块(405)，用于根据所述待匹配医学图像的图像特征编码，从影像数据库中确定所述待匹配医学图像的相似医学图像集，所述影像数据库包括多张医学图像以及各所述医学图像对应的图像特征编码。
9.一种电子设备，其特征在于，包括处理器(501)、存储器(505)、用户接口(503)及网络接口(504)，所述存储器(505)用于存储指令，所述用户接口(503)和网络接口(504)用于给其他设备通信，所述处理器(501)用于执行所述存储器(505)中存储的指令，以使所述电子设备(500)执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1-7任意一项所述的方法步骤。
CN202310483530.5A 2023-04-28 2023-04-28 一种相似医学图像的检索方法、***、设备及介质 Pending CN116521915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310483530.5A CN116521915A (zh) 2023-04-28 2023-04-28 一种相似医学图像的检索方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310483530.5A CN116521915A (zh) 2023-04-28 2023-04-28 一种相似医学图像的检索方法、***、设备及介质

Publications (1)

Publication Number Publication Date
CN116521915A true CN116521915A (zh) 2023-08-01

Family

ID=87402490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310483530.5A Pending CN116521915A (zh) 2023-04-28 2023-04-28 一种相似医学图像的检索方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN116521915A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874278A (zh) * 2024-03-11 2024-04-12 盛视科技股份有限公司 基于多区域特征组合的图像检索方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874278A (zh) * 2024-03-11 2024-04-12 盛视科技股份有限公司 基于多区域特征组合的图像检索方法及***
CN117874278B (zh) * 2024-03-11 2024-05-28 盛视科技股份有限公司 基于多区域特征组合的图像检索方法及***

Similar Documents

Publication Publication Date Title
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111951280B (zh) 图像分割方法、装置、设备及存储介质
JP2023520846A (ja) 人工知能に基づく画像処理方法、画像処理装置、コンピュータプログラム及びコンピュータ機器
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
WO2021184799A1 (zh) 医学图像处理方法、装置、设备及存储介质
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
CN116521915A (zh) 一种相似医学图像的检索方法、***、设备及介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN113822283A (zh) 文本内容处理方法、装置、计算机设备及存储介质
CN113344028A (zh) 乳腺超声序列图像分类方法及装置
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
CN114664410B (zh) 一种基于视频的病灶分类方法、装置、电子设备及介质
CN112699907A (zh) 数据融合的方法、装置和设备
Wu et al. Automatic mass detection from mammograms with region-based convolutional neural network
CN115631370A (zh) 一种基于卷积神经网络的mri序列类别的识别方法及装置
CN117078664B (zh) 计算机可读存储介质、超声图像质量评估装置及电子设备
CN117058405B (zh) 一种基于图像的情绪识别方法、***、存储介质及终端
WO2024045819A1 (zh) 病变区域确定方法、模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination