CN109902714B - 一种基于多图正则化深度哈希的多模态医学图像检索方法 - Google Patents
一种基于多图正则化深度哈希的多模态医学图像检索方法 Download PDFInfo
- Publication number
- CN109902714B CN109902714B CN201910048281.0A CN201910048281A CN109902714B CN 109902714 B CN109902714 B CN 109902714B CN 201910048281 A CN201910048281 A CN 201910048281A CN 109902714 B CN109902714 B CN 109902714B
- Authority
- CN
- China
- Prior art keywords
- modal
- data
- medical image
- depth
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 230000001174 ascending effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 51
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000000691 measurement method Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005481 NMR spectroscopy Methods 0.000 abstract 1
- 238000003745 diagnosis Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 230000002902 bimodal effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明请求保护一种多图正则化深度哈希多模态医学图像检索方法，具体是通过多通道深度模型同时提取多模态医学图像组的特征；根据多模态医学图像组的特征对应构建多个图正则化矩阵；融合多个图正则化矩阵，并利用模态自适应受限玻尔兹曼机学习得到多模态医学图像组的哈希码；通过汉明距离度量求出单个模态数据哈希码与多模态医学图像组哈希码的距离并按升序排序，选择距离最小的n组多模态医学图像返回给用户，从而实现了多模态医学图像检索。该方法的实现，能帮助医生在超声图像，争端文本，核磁共振图像等多模态医学图像中，通过某一模态的数据迅速查找到另外多种模态的数据，有助于医生的医学诊断，减少医生的工作量，提高工作效率。
Description
技术领域
本发明属于医学图像处理技术领域，尤其涉及多图正则化深度哈希方法实现多模态医学图像检索。
背景技术
多模态医学图像检索技术指的根据某一模态的输入数据从多模态医学图像库中检索出相匹配的同模态和不同模态的医学图像。已有的多模态检索技术主要有三个模块：基于文本的图像检索技术、基于文本的视频检索技术、基于图像的文本检索技术。现有的多模态检索技术多在两种模态之间互相检索，然而日益增长的多模态医学图像使得现有技术无法满足用户在任意模态数据之间互相检索的需求。
跨模态哈希检索算法成为近年来的研究热点，并取得了较好的效果。然而依旧存在一些技术缺陷：(1)现有的方法大都通过提取数据的手工特征来学习哈希码，相比于通过根据不同数据的内在结构特征来学习哈希码，手工提取特征学习到的哈希码对检索精度有较大影响；(2)现存的绝大部分基于深度学习的跨模态哈希算法也都只在两个模态数据之间实现相互检索；(3)现有方法在实现数据到哈希码的映射时都未考虑到数据的内在流形结构，以至于学习到的哈希码也未能保持数据的局部流形结构，从而影响了检索精度。
针对上述几个问题，虽然很多学者投入了大量的时间和精力去研究，但依然没有一个实现自适应数据模态的多模态检索方法出现。RBM的原理，可以将其学习得到的隐层结果直接作为数据的哈希码；而流形结构保持的加入，能在数据映射到哈希码的同时中保持数据的局部流形结构。
本发明所要解决的问题是手工特征无法满足高精度的检索需求、跨模态哈希算法多为双模态互相检索、数据到哈希码之间的映射不能保持数据局部流形结构等方面的不足。本发明运用深度模型提取数据深度特征代替数据的手工特征，避免了手工特征无法很好的挖掘数据内在结构的问题，从而在哈希检索中大大提高了检索精度；使用自适应RBM哈希算法能解决现有的多模态检索大多只能在两个模态的数据中实现互相检索的问题，能在任意多模态的数据中实现互相检索；使用流形结构保持，能在数据到哈希码的映射过程中很好的保持数据的局部流形结构，从而进一步提升检索精度。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种提升检索精度的基于多图正则化深度哈希的多模态医学图像检索方法。本发明的技术方案如下：
一种基于多图正则化深度哈希的多模态医学图像检索方法，其包括以下步骤：
步骤1、利用多通道深度模型提取多模态医学图像的深度特征，并对深度特征标准化；
步骤2、根据步骤1提取的多个不同模态数据的特征构建多个近邻图矩阵，用以保持数据的局部流形结构，并构建一个标签矩阵；
步骤3、将构建的多个近邻图矩阵以及标签矩阵融合成一个图矩阵；
步骤4、利用模态自适应的受限玻尔兹曼机RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码；
步骤5、通过深度通道和模态自适应的RBM将待检索的模态数据生成哈希码；
步骤6、使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序，将距离最小的n组最近似多模态医学图像返回给用户。
进一步的，所述步骤1利用多通道深度模型提取多模态医学图像的深度特征，具体包括：首先根据数据组模态数量自适应确定深度模型的通道数量，再将多个深度通道连接到同一分类层作为一个整体，训练整体的多通道深度模型，训练完成取各个通道的倒数第二层结果作为对应模态数据的深度特征。
进一步的，所述步骤1在提取到多模态医学图像组的深度特征后，将深度特征采用Z-score标准化，量化后的特征将服从标准正态分布，特征的量化公式如下：
其中μ表示某一个特征的均值，δ表示特征的标准差。
进一步的，所述步骤2近邻图构建中，将图视为n个向量的集合来描述数据的几何结构，其中每一个向量对应一个数据点，每一个向量的长度为ρ，表示ρ个与该数据点最近邻的数据点，多个近邻矩阵矩阵
的距离度量方式采用高斯热核距离或曼哈顿距离或切比雪夫距离，m表示多模态医学图像的模态数量，i表示某一模态数据构建的近邻矩阵的第i行，j表示第j列；
表示某一模态数据构建的近邻矩阵。根据深度特征构建完近邻图后，根据标签构建一个额外的标签近邻图。进一步的，所述根据标签构建一个额外的标签近邻图，具体包括：根据标签构建一个n维矩阵，构建规则如下：
xi表示分别表示多模态数据的一组图像，xj表示其余n-1组图像中的任意一组，a表示xi与xj相同标签的个数。构建完m+1个矩阵后，采用如下公式进行多图正则化矩阵融合：
其中μ表示融合时每个矩阵的权重系数。
进一步的，所述步骤4利用模态自适应的RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码，具体包括：
模态自适应的RBM由原始高斯RBM改进而来，可视层数量根据数据模态数量自适应确定，都连接到同一隐层；同时在可视层和隐层通过条件概率生成的时候加入流形保持矩阵，使得生成的隐层哈希码能保持数据的局部近邻结构；改进的RBM模型的能量函数如下所示：
其中U表示整个改进的RBM模型的能量函数；
代表第1，2，…，M个可视层的某一节点，hi表示隐层的某一结点。M表示模态数量，N1,N2分别表示各个可视层的节点数量和隐层节点数量；θ表示RBM的参数集合，包含可视层的偏置a，隐层的偏置b，以及可视层和隐层之间的连接权w。
表示第m个可视层第r个节点的偏置，bs表示隐层第s个节点的偏置，
表示第m个可视层的第r个节点与隐层第s个节点的连接权；
表示第m个可视层的第r个节点，hs表示隐层第s个节点；
表示第m个可视层第r个节点的正态分布标准差，为正值，一般不作训练，取定值1；λ表示正则化权重参数，其控制隐层表示的平滑性。his表示隐层的第s个节点，hjs表示根据融合矩阵得出的与his近邻的节点。m表示第m个可视层，r表示某一可视层的第r个节点、s表示隐层第s个节点。
进一步的，所述步骤5通过深度通道和模态自适应的的RBM将待检索的某一模态数据生成哈希码，具体包括：将待检索的某一模态的医学图像放入其训练时对应的该模态特征提取通道中，取卷积神经网络倒数第二层数值作为其特征值；根据训练时得到的相同模态数据的特征矩阵的均值μ和标准差δ标准化得到的特征值；将标准化的特征值作为训练完成的RBM可视层输入，注意对应训练时同模态的可视层，其他的可视层输入与特征值相同规格的零矩阵，与连接权做矩阵相乘后得到的结果取符号函数sign得到待检索数据的哈希码。
进一步的，所述步骤6使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序，将距离最小的n组最近似多模态医学图像返回给用户，其中汉明距离度量公式如下：
其中k表示哈希码的长度，hr(x)表示样本x的第r位哈希码，hr(y)表示样本y的第r位哈希码的，
表示异或运算。
本发明的优点及有益效果如下：
1、本发明避免了手工特征无法很好的挖掘数据内在结构的问题，步骤1中提出的基于深度学习的深度特征提取结构解决了传统基于手工特征的哈希方法精度不高的问题。
2、步骤1的自适应模态的特征提取结构以及步骤4的自适应RBM可视层的提出解决了现存大多数方法只能在两个模态之间相互检索的问题，实现任意多模态医学图像之间互相检索。
3、步骤2、3、4中的结合了多图正则化的RBM模型解决了在哈希映射过程不能不要数据局部流形结构的问题，进一步提高检索精度。
附图说明
图1是本发明提供优选实施例的操作流程图；
图2是本发明中多模态医学图像组到哈希码映射整体模型图；
图3是本发明中模态自适应RBM模型图；
图4是本发明中实验说明以及实际检索结果(双模态数据集)；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
根据多模态医学图像的不同数据类型选择不同类型的深度模型用于提取其深度特征，如图像数据选择卷积神经网络、文本可选择循环神经网络等，用于提取深度特征的模型不是本发明的重点任务。
因各个特征的数值维度不一致，且后续用于哈希码学习的模态自适应RBM模型要求可视层符合高斯分布，在提取到多模态医学图像组的深度特征后，将特征采用Z-score标准化，量化后的特征将服从标准正态分布。特征的量化公式如下：
其中μ和δ分别表示一个特征的均值的标准差。
根据原始特征构建近邻图，用于在哈希码学习的同时保持数据的局部近邻结构。近邻图构建中，距离度量的方式有高斯热核距离、曼哈顿距离、切比雪夫距离等，此处度量方式的选择不是本发明的重点任务。根据深度特征构建完近邻图后，根据标签构建一个额外的近邻图，标签对数据的内在流形结构的影响重大，在后续的近邻图融合中，标签近邻图所占比重较大。
原始的高斯RBM模型能将实值数据映射为二值数据，利用这个特性，将其可视层数量根据多模态医学图像模态数量自适应调整，并同时连接到同一个隐层，并在其能量函数上加一个图正则化项用于约束将相似的数据生成相似的哈希码，以保持数据的内在流形结构，这将有利于提高检索精度。
现有的多模态哈希方法多针对手工特征用于哈希码生成，且大多在两种模态数据之间的相互检索。这大大降低了检索精度，并且无法满足用户在任意模态数据之间相互检索的需求。本发明提出的一种基于多图正则化深度哈希多模态检索方法能极大地提高检索精度，并能满足用户在任意数据模态之间互相检索的需求。
下面详细说明本发明的技术方案：
步骤一：多模态医学图像组深度特征提取
为了得到多模态医学图像组的哈希码，先对数据提取深度特征。首先根据数据组模态数量自适应确定深度模型的通道数量，再将多个深度通道连接到同一分类层作为一个整体，如附图3所示。训练整体的多通道深度模型，训练完成取各个通道的倒数第二层结果作为对应模态数据的深度特征。
步骤二：构建并融合多近邻图矩阵
为了在得到数据组哈希码的同时保持数据局部近邻结构，根据不同模态数据的深度特征构建近邻图。将图视为n个向量的集合来描述数据的几何结构，其中每一个向量对应一个数据点，每一个向量的长度为ρ，表示ρ个与该数据点最近邻的数据点。多个近邻矩阵矩阵
的距离度量方式有多种选择，例如高斯热核距离、曼哈顿距离、切比雪夫距离等；其中m表示多模态医学图像的模态数量。另根据标签构建一个n维矩阵，构建规则如下：
近邻矩阵构建完成后将其融合成一个矩阵，融合规则如下：
其中融合系数采用遍历的形式学习到一组合适的参数。
步骤三：深度特征标准化
由于以下两个原因，我们必须将得到的深度特征标准化：
1.不同的特征往往具有不同的量纲，这样的情况会影响到后续数据分析和哈希码学习的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理。
2.高斯伯努利受限玻尔兹曼机是假设数据输入服从高斯分布，然而原始的特征矩阵中的数据并不符合高斯分布。
结合以上两个原因，我们得到的原始特征矩阵采用Z-score标准化，标准化后的特征将服从标准正态分布。特征的量化公式如下：
其中μ和δ分别表示一个特征的均值的标准差。
步骤四：哈希码学习
利用模态自适应的RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码。模态自适应的RBM由原始高斯RBM改进而来，可视层数量根据数据模态数量自适应确定，都连接到同一隐层；同时在可视层和隐层通过条件概率生成的时候加入流形保持矩阵，使得生成的隐层哈希码能保持数据的局部近邻结构。将深度特征标准化之后，将其按模态输入到可视层中，结合融合后的矩阵，利用多输入对比散度算法训练模态自适应RBM。训练完成可以得到多模态医学数据的共享哈希码。
步骤五：返回待检索图像的n(在本发明中n取3)组近邻图
从测试多模态医学数据集中取其中一个模态的一张图像，利用训练完成的模型获得其深度特征，再获得其哈希码。将得到的测试图像哈希码与得到的多模态数据的共享哈希码进行距离度量。使用汉明距离度量方法计算样本之间的距离并升序排序，将距离最小的n个哈希码取出，并将其对应的n组图像返回给用户。
具体实验验证
为了验证方法的有效性，采用了双模态脑部医学数据集作为提出的方法验证实验。数据集总共包含323组共10个分类双模态脑部图像，一个模态是MRI模态数据，另一模态是PET模态。将其中290组图像作为训练组，剩余32组图像作为测试集。
具体实验步骤：
1、利用卷积神经网络提取图像深度特征。两个卷积网络倒数第二层全连接层的节点个数设定为256个，并且共用同一个分类层，将双模态训练数据输入到双通道深度网络中，利用分类任务训练整体网络。训练完成后将290组训练数据和32组测试数据放入到其对应模态的深度通道中，此时将得到倒数第二层的数值作为数据的深度特征，分别的得到两个(256×290)和两个(256×32)的特征矩阵。
2、利用得到的训练集深度特征矩阵构建两个近邻矩阵(290×290)，再根据训练数据集的标签构建一个标签矩阵。利用上述的融合规则融合三个矩阵得到一个融合矩阵。
3、根据上述的标准化规则标准化得到的4个深度特征矩阵。注意测试集特征矩阵标准化时的均值与标准差为其对应模态的测试集特征矩阵的均值与标准差。
4、利用标准化后的深度特征矩阵作为双可视层受限玻尔兹曼机(RBM)的输入，结合融合矩阵训练双可视层RBM。训练完成后将训练集和测试集的特征矩阵输入，与连接权重做矩阵乘法后取符号函数(sign)后得到训练集和测试集的哈希码。
5、分别取两张标签为Glioma和Dementia的MRI模态图像作为待检索图像，将其对应的哈希码与训练集哈希码计算汉明距离并排序，取前3个距离最小的哈希码，然后返回其对应的3组双模态图像，得到的结果图4所示。
6、取MRI模态的所有测试集作为待检索图像，取前10的返回结果计算平均精度(mAP)，得到的结果为0.6765。
上述实验结果可证明本方法的可行性。
综上所述，本发明的创新和优势：
1、避免了手工特征无法很好的挖掘数据内在结构的问题，解决传统基于手工特征的哈希方法精度不高的问题。
2、解决现存大多数方法只能在两个模态之间相互检索的问题，实现任意多模态医学图像之间互相检索。
3、解决在哈希映射过程不能不要数据局部流形结构的问题，进一步提高检索精度。
本发明提出的一种基于多图正则化深度哈希多模态医学图像检索方法通过深度特征代替传统手工特征，能提高哈希检索精度。
本发明提出的一种基于多图正则化深度哈希多模态医学图像检索方法通过流形保持方式使得得到哈希码的同时保持数据的局部流形结构，能进一步提高检索精度。
本发明提出的一种基于多图正则化深度哈希多模态医学图像检索方法实现了任意模态数据的互相检索，极大满足用户需求。
本发明提出的一种基于多图正则化深度哈希多模态医学图像检索方法，步骤清晰，针对性强。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (4)
1.一种基于多图正则化深度哈希的多模态医学图像检索方法，其特征在于，包括以下步骤：
步骤1、利用多通道深度模型提取多模态医学图像的深度特征，并对深度特征标准化；
步骤2、根据步骤1提取的多个不同模态数据的特征构建多个近邻图矩阵，用以保持数据的局部流形结构，并构建一个标签矩阵；
步骤3、将构建的多个近邻图矩阵以及标签矩阵融合成一个图矩阵；
步骤4、利用模态自适应的受限玻尔兹曼机RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码；
步骤5、通过深度通道和模态自适应的RBM将待检索的模态数据生成哈希码；
步骤6、使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序，将距离最小的n组最近似多模态医学图像返回给用户；
所述步骤1利用多通道深度模型提取多模态医学图像的深度特征，具体包括：首先根据数据组模态数量自适应确定深度模型的通道数量，再将多个深度通道连接到同一分类层作为一个整体，训练整体的多通道深度模型，训练完成取各个通道的倒数第二层结果作为对应模态数据的深度特征；
所述步骤2近邻图构建中，将图视为n个向量的集合来描述数据的几何结构，其中每一个向量对应一个数据点，每一个向量的长度为ρ，表示ρ个与该数据点最近邻的数据点，多个近邻矩阵
的距离度量方式采用高斯热核距离或曼哈顿距离或切比雪夫距离，m表示多模态医学图像的模态数量，i表示某一模态数据构建的近邻矩阵的第i行，j表示第j列；
表示某一模态数据构建的近邻矩阵，根据深度特征构建完近邻图后，根据标签构建一个额外的标签近邻图；
所述步骤3根据标签构建一个额外的标签近邻图，具体包括：根据标签构建一个n维矩阵，构建规则如下：
xi表示多模态数据的一组图像，xj表示其余n-1组图像中的任意一组，a表示xi与xj相同标签的个数，构建完m+1个矩阵后，采用如下公式进行多图正则化矩阵融合：
其中μ表示融合时每个矩阵的权重系数，Ψ表示融合后的矩阵；
所述步骤4利用模态自适应的RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码，具体包括：
模态自适应的RBM由原始高斯RBM改进而来，可视层数量根据数据模态数量自适应确定，都连接到同一隐层；同时在可视层和隐层通过条件概率生成的时候加入流形保持矩阵，使得生成的隐层哈希码能保持数据的局部近邻结构；改进的RBM模型的能量函数如下所示：
其中U表示整个改进的RBM模型的能量函数；fi 1,fi 2,…,fi M代表第1，2，…，M个可视层的某一节点，hi表示隐层的某一结点，M表示模态数量，N1,N2分别表示各个可视层的节点数量和隐层节点数量；θ表示RBM的参数集合，包含可视层的偏置a，隐层的偏置b，以及可视层和隐层之间的连接权w，
表示第m个可视层第r个节点的偏置，bs表示隐层第s个节点的偏置，
表示第m个可视层的第r个节点与隐层第s个节点的连接权；
表示第m个可视层的第r个节点，hs表示隐层第s个节点；
表示第m个可视层第r个节点的正态分布标准差，为正值，不作训练，取定值1；λ表示正则化权重参数，其控制隐层表示的平滑性，his表示隐层的第s个节点，hjs表示根据融合矩阵得出的与his近邻的节点，m表示第m个可视层，r表示某一可视层的第r个节点、s表示隐层第s个节点。
2.根据权利要求1所述的一种基于多图正则化深度哈希的多模态医学图像检索方法，其特征在于，所述步骤1在提取到多模态医学图像组的深度特征后，将深度特征采用Z-score标准化，量化后的特征将服从标准正态分布，特征的量化公式如下：
其中μ表示某一个特征的均值，δ表示特征的标准差，x表示深度特征。
3.根据权利要求1所述的一种基于多图正则化深度哈希的多模态医学图像检索方法，其特征在于，所述步骤5通过深度通道和模态自适应的RBM将待检索的某一模态数据生成哈希码，具体包括：将待检索的某一模态的医学图像放入其训练时对应的该模态特征提取通道中，取卷积神经网络倒数第二层数值作为其特征值；根据训练时得到的相同模态数据的特征矩阵的均值μ和标准差δ标准化得到的特征值；将标准化的特征值作为训练完成的RBM可视层输入，注意对应训练时同模态的可视层，其他的可视层输入与特征值相同规格的零矩阵，与连接权做矩阵相乘后得到的结果取符号函数sign得到待检索数据的哈希码。
4.根据权利要求3所述的一种基于多图正则化深度哈希的多模态医学图像检索方法，其特征在于，所述步骤6使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序，将距离最小的n组最近似多模态医学图像返回给用户，其中汉明距离度量公式如下：
其中k表示哈希码的长度，hr(x)表示样本x的第r位哈希码，hr(y)表示样本y的第r位哈希码，
表示异或运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910048281.0A CN109902714B (zh) | 2019-01-18 | 2019-01-18 | 一种基于多图正则化深度哈希的多模态医学图像检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910048281.0A CN109902714B (zh) | 2019-01-18 | 2019-01-18 | 一种基于多图正则化深度哈希的多模态医学图像检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109902714A CN109902714A (zh) | 2019-06-18 |
| CN109902714B true CN109902714B (zh) | 2022-05-03 |
Family
ID=66943792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910048281.0A Active CN109902714B (zh) | 2019-01-18 | 2019-01-18 | 一种基于多图正则化深度哈希的多模态医学图像检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109902714B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110444277B (zh) * | 2019-07-19 | 2023-03-28 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
| CN110990596B (zh) * | 2019-12-04 | 2020-09-25 | 山东师范大学 | 一种基于自适应量化多模态哈希检索方法及*** |
| CN111428072A (zh) * | 2020-03-31 | 2020-07-17 | 南方科技大学 | 眼科多模态影像的检索方法、装置、服务器及存储介质 |
| CN111666442B (zh) * | 2020-06-02 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 一种图像检索方法、装置及计算机设备 |
| CN111881979B (zh) * | 2020-07-28 | 2022-05-13 | 复旦大学 | 多模态数据标注装置及包含程序的计算机可读存储介质 |
| CN112800260B (zh) * | 2021-04-09 | 2021-08-20 | 北京邮电大学 | 基于深度哈希能量模型的多标签图像检索方法和装置 |
| CN113658683A (zh) * | 2021-08-05 | 2021-11-16 | 重庆金山医疗技术研究院有限公司 | 一种疾病诊断***及数据推荐方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968626B (zh) * | 2012-12-19 | 2016-04-06 | 中国电子科技集团公司第三研究所 | 一种人脸图像匹配的方法 |
| US20150178786A1 (en) * | 2012-12-25 | 2015-06-25 | Catharina A.J. Claessens | Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages |
| CN104484666A (zh) * | 2014-12-17 | 2015-04-01 | 中山大学 | 一种基于人机交互的图像高级语义解析的方法 |
| CN104899253B (zh) * | 2015-05-13 | 2018-06-26 | 复旦大学 | 面向社会图像的跨模态图像-标签相关度学习方法 |
| CN105701800B (zh) * | 2015-12-31 | 2019-01-25 | 上海交通大学 | 多模图像匹配方法 |
| CN106484782B (zh) * | 2016-09-18 | 2019-11-12 | 重庆邮电大学 | 一种基于多核哈希学习的大规模医学图像检索方法 |
| CN106777318B (zh) * | 2017-01-05 | 2019-12-10 | 西安电子科技大学 | 基于协同训练的矩阵分解跨模态哈希检索方法 |
| CN109166615B (zh) * | 2018-07-11 | 2021-09-10 | 重庆邮电大学 | 一种随机森林哈希的医学ct图像存储与检索方法 |
-
2019
- 2019-01-18 CN CN201910048281.0A patent/CN109902714B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109902714A (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902714B (zh) | 一种基于多图正则化深度哈希的多模态医学图像检索方法 | |
| JP7360497B2 (ja) | クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム | |
| CN108334574B (zh) | 一种基于协同矩阵分解的跨模态检索方法 | |
| CN113535984B (zh) | 一种基于注意力机制的知识图谱关系预测方法及装置 | |
| CN112015868B (zh) | 基于知识图谱补全的问答方法 | |
| CN110647904B (zh) | 一种基于无标记数据迁移的跨模态检索方法及*** | |
| CN107832458B (zh) | 一种字符级的基于嵌套深度网络的文本分类方法 | |
| CN109299462B (zh) | 基于多维卷积特征的短文本相似度计算方法 | |
| CN110941734B (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
| CN112199532B (zh) | 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置 | |
| CN113343125B (zh) | 一种面向学术精准推荐的异质科研信息集成方法及*** | |
| CN110097096B (zh) | 一种基于tf-idf矩阵和胶囊网络的文本分类方法 | |
| CN112487822A (zh) | 一种基于深度学习的跨模态检索方法 | |
| CN112949740B (zh) | 一种基于多级度量的小样本图像分类方法 | |
| Peng et al. | Sequential diagnosis prediction with transformer and ontological representation | |
| CN114661933A (zh) | 基于胎儿先心病超声图像—诊断报告的跨模态检索方法 | |
| CN111026887B (zh) | 一种跨媒体检索的方法及*** | |
| Chen et al. | Deep quadruple-based hashing for remote sensing image-sound retrieval | |
| CN116383422B (zh) | 一种基于锚点的无监督跨模态哈希检索方法 | |
| WO2024001104A1 (zh) | 一种图文数据互检方法、装置、设备及可读存储介质 | |
| CN113537304A (zh) | 一种基于双向cnn的跨模态语义聚类方法 | |
| CN117273134A (zh) | 一种基于预训练语言模型的零样本知识图谱补全方法 | |
| CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| CN112182275A (zh) | 一种基于多维度特征融合的商标近似检索***和方法 | |
| CN114093445B (zh) | 一种基于偏多标记学习的患者筛选标记方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240123 Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province Patentee after: Guangzhou Dayu Chuangfu Technology Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |