CN112712092A - 采集图像特征的方法、装置、设备和计算机可读介质 - Google Patents

采集图像特征的方法、装置、设备和计算机可读介质 Download PDF

Info

Publication number
CN112712092A
CN112712092A CN202110018236.8A CN202110018236A CN112712092A CN 112712092 A CN112712092 A CN 112712092A CN 202110018236 A CN202110018236 A CN 202110018236A CN 112712092 A CN112712092 A CN 112712092A
Authority
CN
China
Prior art keywords
feature map
image
channel
original
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110018236.8A
Other languages
English (en)
Inventor
侯博严
于吉鹏
韩森尧
李驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202110018236.8A priority Critical patent/CN112712092A/zh
Publication of CN112712092A publication Critical patent/CN112712092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了采集图像特征的方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：原始图像经过卷积层，得到原始特征图；重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；采集所述图像特征图中的图像特征。该实施方式能够提高描述医学影像特征的准确性。

Description

采集图像特征的方法、装置、设备和计算机可读介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种采集图像特征的方法、装置、设备和计算机可读介质。
背景技术
随着医学影像的快速增长，如何高效地管理和储存这些海量的医学影像，成为当前的研究热点。目前，医院采用的大多是基于文本的电子病历查询***，即通过人工标记描述病症特征，以检索出相似病症的历史病历。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：人工标记有很强的主观性，难以准确描述医学影像的特征。
发明内容
有鉴于此，本发明实施例提供一种采集图像特征的方法、装置、设备和计算机可读介质，能够提高描述医学影像特征的准确性。
为实现上述目的，根据本发明实施例的一个方面，提供了一种采集图像特征的方法，包括：
原始图像经过卷积层，得到原始特征图；
重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；
重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；
所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；
采集所述图像特征图中的图像特征。
所述重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图，包括：
压缩所述原始特征图，得到通道特征向量；
处理所述通道特征向量，以重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图。
所述处理所述通道特征向量，以重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图，包括：
以第一全连接层压缩所述通道特征向量；
基于第二全连接层还原压缩后的所述通道特征向量，以重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图，所述第二全连接层的尺寸大于所述第一全连接层的尺寸。
所述重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图，包括：
提取所述原始特征图的特征，以重新分配所述原始特征图在空间域中特征的权值；
基于所述原始特征图的特征和所述原始特征图，得到空间加权的特征图。
所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图，包括：
所述通道加权的特征图与所述空间加权的特征图，相加得到所述图像特征图。
所述原始图像是包括疾病特征的图像；
所述采集所述图像特征图中的图像特征，包括：
以所述图像特征图作为原始图像，融合得到第一图像特征图；
以所述第一图像特征图作为原始图像，融合得到第二图像特征图；
以所述第二图像特征图作为原始图像，融合得到第三图像特征图；
采集所述第三图像特征图的图像特征。
所述采集所述图像特征图中的图像特征之后，还包括：
显示与检索图像特征相似的所述图像特征，以供参考，所述检索图像特征是输入检索***的检索参数，所述图像特征是历史病例中的特征。
根据本发明实施例的第二方面，提供了一种采集图像特征的装置，包括：
分析模块，用于将原始图像经过卷积层，得到原始特征图；
通道模块，用于重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；
空间模块，用于重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；
融合模块，用于将所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；
采集模块，用于采集所述图像特征图中的图像特征。
根据本发明实施例的第三方面，提供了一种采集图像特征的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。
根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的方法。
上述发明中的一个实施例具有如下优点或有益效果：原始图像经过卷积层，得到原始特征图；重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；采集所述图像特征图中的图像特征。由于可以在通道域和空间域中增加所提取的信息，进而能够提高描述医学影像特征的准确性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的采集图像特征的方法的主要流程的示意图；
图2是根据本发明实施例的重新分配原始特征图在通道域中特征的权值，得到通道加权的特征图的流程示意图；
图3是根据本发明实施例的处理通道特征向量得到通道加权的特征图的流程示意图；
图4是根据本发明实施例的重新分配原始特征图在空间域中特征的权值，得到空间加权的特征图的流程示意图；
图5是根据本发明实施例的重新分配权值的示意图；
图6是根据本发明实施例的网络结构示意图；
图7是根据本发明实施例的采集图像特征的装置的主要结构的示意图；
图8是本发明实施例可以应用于其中的示例性***架构图；
图9是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，以人工标记的方式描述病症特征。一些非资深医师在拿到一些带有疑难杂症的医学影像时并不能准确给出相关的文字描述，这时就需要采用基于内容的医学(content-based medical image retrieval，CBMIR)图像检索***，在影像大数据中检索出相似病症的历史CT影像，同时附带历史诊断说明来给医生提供参考。
但是，目前很多成熟的基于内容的图像检索(CBIR)技术不能够直接移植到CBMIR上，原因是医学成像过程会引入大量的噪声、伪影和几何形变等干扰。医学影像灰度分辨率和空间分辨率很高，包含信息量巨大，处理速度很慢，但是如果压缩图像尺寸会损失大量的信息。
示例性地，相似肺结节检索技术大多是利用传统图像处理技术提取肺结节的纹理、密度、形态学等特征，将每个特征构造对应的哈希码，检索时分别计算每个哈希码之间的汉明距离，最后通过加权求和的方法得到相似度。
除此之外，还有诸多利用深度学习构建网络训练肺结节图像，然后去掉全连接层后，以最后一层的输出作为特征，最后通过哈希编码并计算汉明距离进行检索。
上述方法存在难以准确描述医学影像的特征的技术问题。
为了解决难以准确描述医学影像的特征的技术问题，可以采用以下本发明实施例中的技术方案。
参见图1，图1是根据本发明实施例的采集图像特征的方法主要流程的示意图，同时在通道域和空间域中重新分配权值，然后融合通道域中重新分配权值得到的特征图和空间域中重新分配权值得到的特征图，进而采集图像特征。如图1所示，具体包括以下步骤：
S101、原始图像经过卷积层，得到原始特征图。
在本发明的实施例中，可以将医学影像作为原始图像。提取原始图像的特征主要分为两部分，第一部分是在原始图像的基础上得到原始特征图。第二部分是通过原始特征图，分别在空间域和图像域中重新分配权值以融合特征，最终采集图像特征。
首先，需要提取原始图像的特征。具体来说，原始图像经过卷积层，得到原始特征图。
卷积层由若干卷积核组成，每个卷积核的参数都是通过反向传播算法最佳化得到的。卷积层的作用就是将输入到卷积层的原始图像通过卷积核进行卷积运算，然后输出原始特征图。
S102、重新分配原始特征图在通道域中特征的权值，得到通道加权的特征图。
为了提升对于特征的表征能力，需要重新分配原始特征图在通道域中特征的权值，进而得到通道加权的特征图。
参见图2，图2是根据本发明实施例的重新分配原始特征图在通道域中特征的权值，得到通道加权的特征图的流程示意图，具体包括以下步骤：
S201、压缩原始特征图，得到通道特征向量。
在本发明实施例中，在通道域中需要对特征进行先压缩再处理的操作，进而调整通道的权值。对于重要的通道提高权值，减小非重要通道的权值。
压缩原始特征图，得到通道特征向量。在具体实现时，假设原始特征图大小为M×N×C，M和N分别为长和宽，C为通道数。沿着原始特征图的空间维度方向，即通道方向压缩，将每一个通道的原始特征图降维。通过全局平均池化，对每个通道的原始特征图求平均值，以压缩产生1×C维的通道特征向量。
S202、处理通道特征向量，以重新分配原始特征图在通道域中特征的权值，得到通道加权的特征图。
每个通道的通道特征值代表该通道中原始特征图的特征。需要处理由多个通道特征值组成的通道特征向量，以重新分配原始特征图在通道域中特征的权值，进而得到通道加权的特征图。
参见图3，图3是根据本发明实施例的处理通道特征向量得到通道加权的特征图的流程示意图，具体包括以下步骤：
S301、以第一全连接层压缩通道特征向量。
在本发明实施例中，以两个全连接层处理通道特征向量。全连接层在整个卷积神经网络中起到分类器的作用。全连接层起到将学到的分布式特征表示映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现。
作为一个示例，两个全连接层包括第一全连接层和第二全连接层。第一全连接层压缩通道特征向量，第二全连接层还原压缩后的通道特征向量。第一全连接层的尺寸小于第二全连接层的尺寸。
如：以尺寸为1×C/16的全连接层对通道特征向量进行线性组合的同时，压缩通道特征向量，进而得到压缩后的通道特征向量。
S302、基于第二全连接层还原压缩后的通道特征向量，以重新分配原始特征图在通道域中特征的权值，得到通道加权的特征图，第二全连接层的尺寸大于第一全连接层的尺寸。
在第一全连接层压缩通道特征向量后，为了重新分配原始特征图在通道域中特征的权值，可以基于第二全连接层还原压缩后的通道特征向量。
作为一个示例，以尺寸为1×C/16的全连接层压缩通道特征向量。之后再接一个1×C的全连接层对压缩后的通道特征向量进行高度非线性变换，同时还原通道特征向量的尺寸。其中，第一全连接层是尺寸为1×C/16的全连接层，第二全连接层是尺寸为1×C的全连接层。
在本发明实施例中，在压缩原始特征图之后，再连接一短一长两个全连接层分别压缩和解压，相当于加入更多非线性因素，可以更好地学习通道域的特征。
通过上述过程，重新分配原始特征图在通道域中特征的权值，接着采用sigmoid激活函数将重新分配的权值，映射到0～1的范围内。
最后，将1×C维的通道特征向量分别与初始的C个原始特征图，分别相乘得到通道加权的特征图。
在图2的实施例中，采用先压缩再处理的方式，重新分配原始特征图在通道域中特征的权值，进而得到通道加权的特征图。
S103、重新分配原始特征图在空间域中特征的权值，得到空间加权的特征图。
对于原始特征图可以提取特征，以重新分配原始特征图在空间域中特征的权值，得到空间加权的特征图。
参见图4，图4是根据本发明实施例的重新分配原始特征图在空间域中特征的权值，得到空间加权的特征图的流程示意图，具体包括：
S401、提取原始特征图的特征，以重新分配原始特征图在空间域中特征的权值。
在本发明实施例中，以卷积的方式提取原始特征图的特征。作为一个示例，对于上述M×N×C的原始特征图，在空间上进行A×A卷积并保证得到的特征在空间维度上与输入的原始特征图一致。其中，A是大于等于1的预设参数。作为一个示例，A＝3。
上述以卷积方式提取原始特征图的特征，相当于在训练过程中对原始特征图上目标区域的位置进行学习。根据响应大小重新分配原始特征图在空间域中特征的权值，然后通过sigmoid函数将重新分配的权值映射到0～1范围内，从而得到原始特征图的特征。
S402、基于原始特征图的特征和原始特征图，得到空间加权的特征图。
将原始特征图的特征和原始特征图相乘，得到经过空间加权的特征图。
在图4的实施例中，对原始特征图采用卷积提取特征，并以sigmoid激活，进而生成原始特征图的特征，在此基础上与原始特征图相乘，得到空间加权的特征图。
需要说明的是，S102和S103的执行顺序并无限制，可以采用以下任一种方式。S102和S103同时执行；先执行S102，再执行S103；先执行S103，再执行S102。
参见图5，图5是根据本发明实施例的重新分配权值的示意图。对于原始特征图的处理分为两部分，第一部分是重新分配通道域中特征的权值，第二部分是重新分配空间域中特征的权值。然后，融合通道加权的特征图和空间加权的特征图。
通道域的处理与空间域的处理并行，这样互相不存在干扰并且效率更高。进而同时叠加两种重新分配的权值，并不损失任何一种权值。
S104、通道加权的特征图与空间加权的特征图，融合得到图像特征图。
通道加权的特征图是从通道域的角度重新加权得到的特征图。空间加权的特征图是从空间域的角度重新加权得到的特征图。融合通道加权的特征图与空间加权的特征图，得到图像特征图。
在本发明的一个实施例中，通道加权的特征图与空间加权的特征图，相加得到图像特征图。
S105、采集图像特征图中的图像特征。
图像特征图是经过通道域和空间域两方面的特征融合，能够充分表征原始图像的特征，因而可以直接采集图像特征图中的图像特征。作为一个示例，通过全连接层输出所采集图像特征图中的图像特征。
在本发明的一个实施例中，采集图像特征图的图像特征之后，还可以在采集得到的图像特征进行检索。即，依据检索图像特征在采集得到的图像特征中检索，以得到与检索图像特征相似的图像特征。
也就是说，用户可以在检索***中输入检索参数，检索图像特征是输入检索***的检索参数。采集图像特征图的图像特征是历史病例中的特征。然后，显示与检索图像特征相似的图像特征，以供用户参考。作为一个示例，用户可以是医生。
在上述本发明的实施例中，以通道加权的特征图与空间加权的特征图，融合得到图像特征图。这样做的目的：分别独立获得通道加权的特征图和空间加权的特征图，上述两个过程互相不存在干扰并且效率更高。
在本发明的一个实施例中，在原始图像是包括疾病特征的图像特征的情况下，可以在原始图像的基础上，进行多次融合。
参见图6，图6是根据本发明实施例的网络结构示意图。图6中包括三个卷积层和一个全连接层。每层包括卷积层，采集图像特征和第一图像特征。原始图像输入第一卷积层得到原始特征图。执行本发明实施例中的技术方案采集图像特征，得到第一图像特征图。再将第一图像特征图1输入第二卷积层，采集图像特征后得到第二图像特征图。再将第二图像特征图输入第三卷积层，采集图像特征后得到第三图像特征图。第三图像特征图输入全连接层。
也就是说，以图像特征图作为原始图像，融合得到第一图像特征图；
以第一图像特征图作为原始图像，融合得到第二图像特征图；
以第二图像特征图作为原始图像，融合得到第三图像特征图；
采集第三图像特征图的图像特征。
图6中是实施例进行了三次融合。当然，也根据实际情况确定融合的次数。
下面以原始图像是肺结节图像，示例性说明本发明实施例的技术方案。
网络结构采用三个卷积层和一个全连接层。利用上述网络首先对已经标注好的肺结节常见的9种单一症像的数据进行训练。采集最后一个卷积层输出的图像特征作为特征准备检索。在检索阶段采用开源的向量搜索引擎milvus进行精确的向量匹配得到检索结果。
首先，将DICOM格式的CT影像文件转换为512像素x512像素的jpg格式。根据肺结节的标注将病灶的ROI区域分割出来，并利用双线性插值将图像尺寸转换成64像素x64像素的大小。将转换后的图像作为网络的训练集。
然后，采用本发明实施例中的技术方案，原始图像经过卷积层，得到原始特征图，进而在获得图像特征。
Milvus是一个开源的向量相似度搜索引擎，它集成了业界成熟的向量搜索技术如Faiss和SPTAG，同时针对Faiss IVF索引进行了深度优化，实现了CPU与多GPU的融合计算，大幅提高了向量搜索性能，可以在秒内完成十亿级的向量搜索。此外，Milvus能够有效的管理向量数据，提供针对向量和非向量数据的增删改查的能力。将数据库所有肺结节CT图像进行特征提取得到图像特征后，将这些图像特征注册到Milvus中建立索引。检索时将检索图像特征输入Milvus进行搜索，采用欧式距离作为相似度量，最终得到Top N个检索结果。
在上述实施例中，原始图像经过卷积层，得到原始特征图；重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；采集所述图像特征图中的图像特征。由于可以在通道域和空间域中增加所提取的信息，进而能够提高描述医学影像特征的准确性。
本发明实施例可以应用于医疗影像平台，如：医生用肺部CT图像检查疾病时遇到一些疑难杂症的情况。如果不是具有丰富经验的高年资医师，并不能确定的下结论，而需要多人讨论并向上级医师请教。
为了提高诊断效率，通过CT影像中病灶的位置和特征从百万级的医疗影像数据库种检索出相似的影像数据，以及已确诊的肺部历史病例数据，大大提高了医生的诊断效率，减少了漏诊和误诊的情况。
参见图7，图7是根据本发明实施例的采集图像特征的装置的主要结构的示意图，采集图像特征的装置可以实现采集图像特征的方法，如图7所示，采集图像特征的装置具体包括：
分析模块701，用于将原始图像经过卷积层，得到原始特征图；
通道模块702，用于重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；
空间模块703，用于重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；
融合模块704，用于将所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；
采集模块705，用于采集所述图像特征图中的图像特征。
在本发明的一个实施例中，通道模块702，具体用于压缩所述原始特征图，得到通道特征向量；
处理所述通道特征向量，以重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图。
在本发明的一个实施例中，通道模块702，具体用于以第一全连接层压缩所述通道特征向量；
基于第二全连接层还原压缩后的所述通道特征向量，以重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图，所述第二全连接层的尺寸大于所述第一全连接层的尺寸。
在本发明的一个实施例中，空间模块703，具体用于提取所述原始特征图的特征，以重新分配所述原始特征图在空间域中特征的权值；
基于所述原始特征图的特征和所述原始特征图，得到空间加权的特征图。
在本发明的一个实施例中，融合模块704，具体用于所述通道加权的特征图与所述空间加权的特征图，相加得到所述图像特征图。
在本发明的一个实施例中，所述原始图像是包括疾病特征的图像；
采集模块705，具体用于以所述图像特征图作为原始图像，融合得到第一图像特征图；
以所述第一图像特征图作为原始图像，融合得到第二图像特征图；
以所述第二图像特征图作为原始图像，融合得到第三图像特征图；
采集所述第三图像特征图的图像特征。
在本发明的一个实施例中，采集模块705，还用于显示与检索图像特征相似的所述图像特征，以供参考，所述检索图像特征是输入检索***的检索参数，所述图像特征是历史病例中的特征。
图8示出了可以应用本发明实施例的采集图像特征的方法或采集图像特征的装置的示例性***架构800。
如图8所示，***架构800可以包括终端设备801、802、803，网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的采集图像特征的方法一般由服务器805执行，相应地，采集图像特征的装置一般设置于服务器805中。
应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图9，其示出了适于用来实现本发明实施例的终端设备的计算机***900的结构示意图。图9示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机***900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有***900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括分析模块、通道模块、空间模块、融合模块和采集模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，分析模块还可以被描述为“用于将原始图像经过卷积层，得到原始特征图”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
原始图像经过卷积层，得到原始特征图；
重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；
重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；
所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；
采集所述图像特征图中的图像特征。
根据本发明实施例的技术方案，原始图像经过卷积层，得到原始特征图；重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；采集所述图像特征图中的图像特征。由于可以在通道域和空间域中增加所提取的信息，进而能够提高描述医学影像特征的准确性。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种采集图像特征的方法，其特征在于，包括：
原始图像经过卷积层，得到原始特征图；
重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；
重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；
所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；
采集所述图像特征图中的图像特征。
2.根据权利要求1所述采集图像特征的方法，其特征在于，所述重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图，包括：
压缩所述原始特征图，得到通道特征向量；
处理所述通道特征向量，以重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图。
3.根据权利要求2所述采集图像特征的方法，其特征在于，所述处理所述通道特征向量，以重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图，包括：
以第一全连接层压缩所述通道特征向量；
基于第二全连接层还原压缩后的所述通道特征向量，以重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图，所述第二全连接层的尺寸大于所述第一全连接层的尺寸。
4.根据权利要求1所述采集图像特征的方法，其特征在于，所述重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图，包括：
提取所述原始特征图的特征，以重新分配所述原始特征图在空间域中特征的权值；
基于所述原始特征图的特征和所述原始特征图，得到空间加权的特征图。
5.根据权利要求1所述采集图像特征的方法，其特征在于，所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图，包括：
所述通道加权的特征图与所述空间加权的特征图，相加得到所述图像特征图。
6.根据权利要求1所述采集图像特征的方法，其特征在于，所述原始图像是包括疾病特征的图像；
所述采集所述图像特征图中的图像特征，包括：
以所述图像特征图作为原始图像，融合得到第一图像特征图；
以所述第一图像特征图作为原始图像，融合得到第二图像特征图；
以所述第二图像特征图作为原始图像，融合得到第三图像特征图；
采集所述第三图像特征图的图像特征。
7.根据权利要求1所述采集图像特征的方法，其特征在于，所述采集所述图像特征图中的图像特征之后，还包括：
显示与检索图像特征相似的所述图像特征，以供参考，所述检索图像特征是输入检索***的检索参数，所述图像特征是历史病例中的特征。
8.一种采集图像特征的装置，其特征在于，包括：
分析模块，用于将原始图像经过卷积层，得到原始特征图；
通道模块，用于重新分配所述原始特征图在通道域中特征的权值，得到通道加权的特征图；
空间模块，用于重新分配所述原始特征图在空间域中特征的权值，得到空间加权的特征图；
融合模块，用于将所述通道加权的特征图与所述空间加权的特征图，融合得到图像特征图；
采集模块，用于采集所述图像特征图中的图像特征。
9.一种采集图像特征的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202110018236.8A 2021-01-07 2021-01-07 采集图像特征的方法、装置、设备和计算机可读介质 Pending CN112712092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110018236.8A CN112712092A (zh) 2021-01-07 2021-01-07 采集图像特征的方法、装置、设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110018236.8A CN112712092A (zh) 2021-01-07 2021-01-07 采集图像特征的方法、装置、设备和计算机可读介质

Publications (1)

Publication Number Publication Date
CN112712092A true CN112712092A (zh) 2021-04-27

Family

ID=75548533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110018236.8A Pending CN112712092A (zh) 2021-01-07 2021-01-07 采集图像特征的方法、装置、设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN112712092A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN109033172A (zh) * 2018-06-21 2018-12-18 西安理工大学 一种深度学习与近似目标定位的图像检索方法
CN109934258A (zh) * 2019-01-30 2019-06-25 西安理工大学 特征加权和区域整合的图像检索方法
CN110827312A (zh) * 2019-11-12 2020-02-21 北京深境智能科技有限公司 一种基于协同视觉注意力神经网络的学习方法
CN111882566A (zh) * 2020-07-31 2020-11-03 华南理工大学 视网膜图像的血管分割方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN109033172A (zh) * 2018-06-21 2018-12-18 西安理工大学 一种深度学习与近似目标定位的图像检索方法
CN109934258A (zh) * 2019-01-30 2019-06-25 西安理工大学 特征加权和区域整合的图像检索方法
CN110827312A (zh) * 2019-11-12 2020-02-21 北京深境智能科技有限公司 一种基于协同视觉注意力神经网络的学习方法
CN111882566A (zh) * 2020-07-31 2020-11-03 华南理工大学 视网膜图像的血管分割方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110807495B (zh) 多标签分类方法、装置、电子设备及存储介质
Xu et al. Remote sensing image scene classification based on generative adversarial networks
Klibisz et al. Fast, simple calcium imaging segmentation with fully convolutional networks
CN111091521B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110752028A (zh) 一种图像处理方法、装置、设备以及存储介质
TW201031162A (en) Method, apparatus and computer program product for providing analysis and visualization of content items association
CN111028237A (zh) 图像分割方法、装置及终端设备
Dharejo et al. TWIST-GAN: Towards wavelet transform and transferred GAN for spatio-temporal single image super resolution
CN108921801B (zh) 用于生成图像的方法和装置
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
CN115115856A (zh) 图像编码器的训练方法、装置、设备及介质
CN115115855A (zh) 图像编码器的训练方法、装置、设备及介质
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
Venkatesvara Rao et al. Real-time video object detection and classification using hybrid texture feature extraction
CN109919220B (zh) 用于生成视频的特征向量的方法和装置
CN112101257B (zh) 训练样本生成方法、图像处理方法、装置、设备和介质
CN108776954B (zh) 用于生成图像的方法和装置
CN116664465A (zh) 一种多模态图像融合方法、装置及计算机设备
CN115908969A (zh) 图像处理及模型训练的方法和设备
CN112712092A (zh) 采集图像特征的方法、装置、设备和计算机可读介质
CN112199531B (zh) 一种基于哈希算法和邻域图的跨模态检索方法及装置
CN114926479A (zh) 图像处理方法及装置
CN113763405A (zh) 一种图像检测方法和装置
Bindu et al. Medical image compression: A leap on recent progress and publications
CN117421641B (zh) 一种文本分类的方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination