CN111666952B - 一种基于标签上下文的显著区域提取方法及*** - Google Patents
一种基于标签上下文的显著区域提取方法及*** Download PDFInfo
- Publication number
- CN111666952B CN111666952B CN202010441556.XA CN202010441556A CN111666952B CN 111666952 B CN111666952 B CN 111666952B CN 202010441556 A CN202010441556 A CN 202010441556A CN 111666952 B CN111666952 B CN 111666952B
- Authority
- CN
- China
- Prior art keywords
- label
- image
- tag
- training
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract 2
- 230000000694 effects Effects 0.000 claims description 12
- 230000002401 inhibitory effect Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000001737 promoting effect Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010998 test method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于标签上下文的显著区域提取方法及***，其中方法包括训练步骤和测试步骤，所述训练步骤包括：训练图像集I，图像集I包含Q幅图像；每个图像都带有标签信息，标签的集合T包含N个标签，训练图像集I对应的基准显著图集S；对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为将图像Ij对应的标签序列映射到图像的不同区域，得到的分割区域序列；根据图像Ij的基准显著图Sj计算分割区域序列中每个区域对应的显著值根据分割区域序列的显著值序列计算标签的相关性；对训练集的每幅图像进行上述的计算，得到影响因子矩阵的集合M；计算所述矩阵集合M的平均影响因子矩阵
Description
技术领域
本发明涉及计算机视觉的技术领域，具体地说是一种基于标签上下文的显著区域提取方法及***。
背景技术
注意属于人类的认知过程，是心理学概念，是视觉感知的重要组成部分。通过计算机模拟注意力机制的显著性检测涉及心理学、神经科学、生物视觉和计算机视觉等相关领域，是多学科交叉的研究领域。视觉注意力机制主要分为两大类：自底向上数据驱动的预注意机制和自顶向下任务驱动的后注意机制。相应的，显著性检测方法根据视觉注意力机制的分类可以分为自底向上的检测方法和自顶向下的检测方法。随着研究的发展，研究人员发现单纯的依赖图像本身的特征，如颜色、形状、纹理等，进行显著区域提取是不够的，因此越来越多的研究人员利用图像外部信息辅助显著区域的计算。图像的标签是非常重要的外部线索信息。虽然标签的语义在图像标注领域已经得到了广泛应用，但是，标签信息通常和显著对象提取任务是分开处理的，应用在显著对象提取上的工作并不多。
文献[Wen Wang，Congyan Lang，Songhe Feng.Contextualizing Tag RankingandSaliency Detection for Social Images.Advances in Multimedia ModelingLectureNotes in Computer Science Volume 7733，2013，pp 428-435.]将标签排序任务和显著性检测任务整合在一起，迭代地进行标签排序和显著性检测任务。文献[Zhu，G.，Wang，Q.，Yuan，Y.Tag-saliency：Combining bottom-up andtop-down information for saliencydetection.Computer Vision and ImageUnderstanding，2014，118(1)：40-49.]通过基于层次的过分割和自动标注技术进行多媒体数据的标注。这两篇文献的共同缺点是均没有考虑到标签之间的上下文关系。
发明内容
为了解决上述的技术问题，本发明提出的一种基于标签上下文的显著区域提取方法及***，将标签的语义信息作为重要的图像外部线索引入到图像的显著区域提取工作中，并考虑标签之间的上下文关系。
本发明的第一目的是提供一种基于标签上下文的显著区域提取方法，包括训练步骤和测试步骤，所述训练步骤包括以下子步骤：：步骤01：训练图像集I，所述图像集I包含Q幅图像；每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应的基准显著图集S；
步骤02：对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为其中，/>为标签i在所有训练图片中出现的情况；
步骤03：将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为
步骤04：根据图像Ij的基准显著图Sj计算所述分割区域序列中每个区域对应的显著值
步骤05：根据所述分割区域序列的显著值序列计算标签的相关性；
步骤06：通过对训练集的每幅图像进行步骤02到步骤05的计算，得到影响因子矩阵的集合M＝{M1，M2，...，Mi，...，MN}；
步骤07：计算所述矩阵集合M的平均影响因子矩阵
优选的是，当所述向量时，表示第i个标签出现；当/>时，表示第i个标签没有出现。。
在上述任一方案中优选的是，所述分割区域的显著值/>计算方法为/>等于区域中所有元素对应显著值的平均值，得到区域序列对应的显著值序列/>
在上述任一方案中优选的是，所述步骤06为通过两个标签对应的区域的显著值推理两个标签之间的上下文关系。
在上述任一方案中优选的是，所述计算标签的相关性的计算方法以下：
1)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，标签m和标签n之间的影响因子αmn＝0，αnm＝0，认为标签m和标签n之间不相互影响；
2)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，则认为标签m和标签n之间相互影响；当/>时，表示标签n对标签m有促进作用，标签m对标签n有抑制作用；当/>时，表示标签n对标签m有抑制作用，标签m对标签n有促进作用，其中，/>
3)若出现的标签m和标签n对应的区域相同，则αmn＝0；
4)标签m对标签m之间的影响因子为αmm＝0；
5)如果标签m和标签n没有同时出现或同时不出现，则规定αmn＝0。
在上述任一方案中优选的是，当所有影响因子计算完成后，得到训练图像j的标签之间的影响因子矩阵Mj，
其中，Mj是N×N的方阵。
在上述任一方案中优选的是，所述步骤07还包括计算矩阵集合M的平均影响因子矩阵的计算公式为：
其中，第j个标签受其他所有标签的影响因子为βji表示平均影响因子矩阵/>的一个元素。
在上述任一方案中优选的是，所述测试阶段包括以下子步骤：
步骤11：计算测试图像img的显著图simg；
步骤12：将测试图像img对应的标签序列映射到图像区域，得到分割区域集合
步骤13：通过平均影响因子矩阵对测试图像的显著值进行调整，得到所述测试图像img的最终的显著图。
在上述任一方案中优选的是，所述调整方法为：测试图像中的像素p的显著值为像素p对应的区域标签为第xp个标签，1≤xp≤N，则第xp个标签受其他所有标签的影响因子为/>其中，1≤i≤N，则像素p修正后的显著值为/>所有元素调整完毕后对图像的显著值进行归一。
本发明的第二目的是提供一种基于标签上下文的显著区域提取***，包括训练模块和测试模块，所述训练模块的训练方法包括以下子步骤：
步骤01：训练图像集I，所述图像集I包含Q幅图像；每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应的基准显著图集S；
步骤02：对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为其中，/>为标签i在所有训练图片中出现的情况；
步骤03：将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为
步骤04：根据图像Ij的基准显著图Sj计算所述分割区域序列中每个区域对应的显著值
步骤05：根据所述分割区域序列的显著值序列计算标签的相关性；
步骤06：通过对训练集的每幅图像进行步骤02到步骤05的计算，得到影响因子矩阵的集合M＝{M1，M2，...，Mi，...，MN}；
步骤07：计算所述矩阵集合M的平均影响因子矩阵
优选的是，当所述向量时，表示第i个标签出现；兰/>时，表示第i个标签没有出现。。
在上述任一方案中优选的是，所述分割区域的显著值/>计算方法为/>等于区域/>和所有元素对应显著值的平均值，得到区域序列对应的显著值序列/>
在上述任一方案中优选的是，所述步骤06为通过两个标签对应的区域的显著值推理两个标签之间的上下文关系。
在上述任一方案中优选的是，所述计算标签的相关性的计算方法以下：
1)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，标签m和标签n之间的影响因子αmn＝0，αnm＝0，认为标签m和标签n之间不相互影响；
2)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，则认为标签m和标签n之间相互影响；当/>时，表示标签n对标签m有促进作用，标签m对标签n有抑制作用；当/>对，表示标签n对标签m有抑制作用，标签m对标签n有促进作用，其中，/>
3)若出现的标签m和标签n对应的区域相同，则αmn＝0；
4)标签m对标签m之间的影响因子为αmm＝0；
5)如果标签m和标签n没有同时出现或同时不出现，则规定αmn＝0。
在上述任一方案中优选的是，当所有影响因子计算完成后，得到训练图像j的标签之间的影响因子矩阵Mj，
其中，Mj是N×N的方阵。
在上述任一方案中优选的是，所述步骤07还包括计算矩阵集合M的平均影响因子矩阵的计算公式为：
其中，第j个标签受其他所有标签的影响因子为βji表示平均影响因子矩阵/>的一个元素。
在上述任一方案中优选的是，所述测试模块的测试方法包括以下子步骤：：
步骤11：计算测试图像img的显著图simg；
步骤12：将测试图像img对应的标签序列映射到图像区域，得到分割区域集合步骤13：通过平均影响因子矩阵/>对测试图像的显著值进行调整，得到所述测试图像img的最终的显著图。
在上述任一方案中优选的是，所述调整方法为：测试图像中的像素p的显著值为像素p对应的区域标签为第xp个标签，1≤xp≤N，则第xp个标签受其他所有标签的影响因子为/>其中，1≤i≤N，则像素p修正后的显著值为/>所有元素调整完毕后对图像的显著值进行归一。
本发明提出了一种基于标签上下文的显著区域提取方法及***，将标签之间的上下文关系，与图像的低级特征联合进行图像的显著对象提取，提高显著区域的提取效果。
附图说明
图1为按照本发明的基于标签上下文的显著区域提取方法的一优选实施例的流程图。
图2为按照本发明的基于标签上下文的显著区域提取***的一优选实施例的模块图。
图3为按照本发明的基于标签上下文的显著区域提取方法的如图1所示实施例的测试方法流程图。
图4为按照本发明的基于标签上下文的显著区域提取方法的对应的基准显著图标注和对应的标签的集合的一优选实施例的举例图。
图5为按照本发明的基于标签上下文的显著区域提取方法的影响因子计算方法的一优选实施例的示意图。
图6为按照本发明的基于标签上下文的显著区域提取方法的一优选实施例的调整前后的显著图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1、2所示，执行步骤100，训练模块200进行训练步骤。在训练步骤中，执行步骤101，训练图像集I，所述图像集I包含Q幅图像。每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应的基准显著图集S。
执行步骤102，对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为其中，/>为标签i在所有训练图片中出现的情况。当所述向量/>时，表示第i个标签出现；当/>时，表示第i个标签没有出现。
执行步骤103，将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为
执行步骤104，根据图像Ij的基准显著图Sj计算分割区域序列为中每个区域对应的显著值/>分割区域/>的显著值/>计算方法为/>等于区域/>和所有元素对应显著值的平均值，得到区域序列对应的显著值序列/>
执行步骤105，根据分割区域序列的显著值序列计算标签的相关性。通过两个标签对应的区域的显著值推理两个标签之间的上下文关系。计算标签的相关性的计算方法以下：
1)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，标签m和标签n之间的影响因子αmn＝0，αnm＝0，认为标签m和标签n之间不相互影响；
2)若出现的标签m和标签n对应的区域不同，且1≤m≤N，1≤n≤N，则认为标签m和标签n之间相互影响；当/>时，表示标签n对标签m有促进作用，标签m对标签n有抑制作用；当/>时，表示标签n对标签m有抑制作用，标签m对标签n有促进作用，其中，/>
3)若出现的标签m和标签n对应的区域相同，则αmn＝0；
4)标签m对标签m之间的影响因子为αmm＝0；
5)如果标签m和标签n没有同时出现或同时不出现，则规定αmn＝0。
当所有影响因子计算完成后，得到训练图像j的标签之间的影响因子矩阵Mj，
其中，Mj是N×N的方阵。
执行步骤106，判断是否对训练集的每幅图像都进行了计算。如果没有对训练集的每幅图像都进行了计算，则重新执行步骤102。如果对训练集的每幅图像都进行了计算，则执行步骤107，得到影响因子矩阵的集合M＝{M1，M2，...，Mi，...，MN}。
执行步骤108，计算所述矩阵集合M的平均影响因子计算矩阵集合M的平均影响因子矩阵/> 的计算公式为：
其中，第j个标签受其他所有标签的影响因子为βji表示平均影响因子矩阵/>的一个元素。
执行步骤110，测试模块210进行测试步骤。在测试步骤中，如图3所示，执行步骤111，计算测试图像img的显著图simg。执行步骤112，将测试图像img对应的标签序列映射到图像区域，得到分割区域集合执行步骤113，通过平均影响因子矩阵/>对测试图像的显著值进行调整，得到所述测试图像img的最终的显著图。所述调整方法为：测试图像中的像素p的显著值为/>像素p对应的区域标签为第xp个标签，1≤xp≤N，则第xp个标签受其他所有标签的影响因子为/>其中，1≤i≤N，则像素p修正后的显著值为/>所有元素调整完毕后对图像的显著值进行归一化。
在本实施例中，仅列举了一种测试步骤的方案，可使用具有相同功能的其他测试方案进行替换，不限于本实施例中的方案。
实施例二
本发明针对目前标签信息在图像的显著区域提取中研究不充分的现状，本发明的主要工作是将标签的语义信息作为重要的图像外部线索引入到图像的显著区域提取工作中，并考虑标签之间的上下文关系，与图像的低级特征联合进行图像的显著对象提取，提高显著区域的提取效果。
本方法的训练阶段包括：
1.训练图像集I，共包含Q幅图像；每个图像都带有标签信息，标签的集合T包含N个标签；同时对应的基准著图集S。
2.对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为当所述向量/>时，表示第i个标签出现；当/>时，表示第i个标签没有出现。
3.将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为
4.根据图像Ij的基准显著图Sj计算分割区域序列为中每个区域对应的显著值，/>的显著值/>计算方法为：/>从而得到区域序列对应的显著值序列/>
5.根据分割区域的显著值序列/>计算标签的相关性，即通过两个标签对应的区域的显著值推理两个标签之间的上下文关系。计算方法为：(1)若出现的标签m和标签n对应的区域不同，且/>1≤m≤N，1≤n≤N，标签m和标签n之间的影响因子αmn＝0，αnm＝0，认为标签m和标签n之间不相互影响；若/>1≤m≤N，1≤n≤N，则认为标签m和标签n之间相互影响；若/>1≤m≤N，1≤n≤N，标签m和标签n之间的影响因了/>标签n对标签m有促进作用，标签m对标签n有抑制作用；(2)若出现的标签m和标签n对应的区域相同，则αmn＝0；(3)规定标签m对标签m之间的影响因子为αmm＝0；(4)如果标签m和标签n没有同时出现或同时不出现，则规定αmn＝0。所有影响因子计算完毕，则得到标签之间的影响因子矩阵Mj，Mj是N×N的方阵。
6.通过对训练集的每幅图像进行步骤2到步骤5的计算，得到影响因子矩阵的集合M＝{M1，M2，...，Mi，...，MN}，计算矩阵集合M的平均影响因子矩阵的计算公式为：
其中，第j个标签受其他所有标签的影响因子为
测试阶段：
1.测试图像为img，计算测试图像img的显著图simg。
2.将测试图像img对应的标签序列映射到图像区域，得到分割区域集合
3.通过平均影响因子矩阵对测试图像的显著值进行调整，调整方法为：
测试图像中的像素p的显著值为像素p对应的区域标签为第xp个标签，1≤xp≤N，则第xp个标签受其他所有标签的影响因子为/>1≤i≤N，则像素p修正后的显著值为/>所有元素调整完毕后对图像的显著值进行归一化。
4、得到测试图像img的最终的显著图。
实施例三
如图4所示，举例说明图像、对应的基准显著图标注和对应的标签的集合。
最左边一列为原始图像，即测试图像；中间一列为原始图像对应的基准显著图标注图，右边一列为线束图对应的标签的集合。
实施例四
本实施例说明的是标签的影响因子矩阵的计算方法。
如图5所示，标签共有4个：animal，cat，person和grass，规定4个标签的序号依次为1、2、3、4。
在第一幅图中，出现二个标签animal，cat，其中animal和cat对应区域是相同的，所以α12＝0；在第二幅图像中出现的标签为person和grass，person对应区域的显著值为0.8，grass对应区域的显著值为0.1，所以α34＝0.7；α43＝-0.7。按着本发明的计算方法，还有α11＝0；α13＝0；α14＝0；α21＝0；α22＝0；α23＝0；α24＝0；α31＝0；α32＝0；α33＝0；α41＝0；α42＝0；α44＝0。
影响因子矩阵为
实施例五
本实施例说明的是图像的显著图以及调整后的显著图。
第一列为图像带有的标签，第二列为原始图像，第三列为没有考虑标签上下文的显著图，第四列为考虑了标签上下文关系的显著图，可以看到考虑了标签上下文的显著图中显著对象更加显著了。
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (7)
1.一种基于标签上下文的显著区域提取方法，包括训练步骤和测试步骤，其特征在于，所述训练步骤包括以下子步骤：
步骤01：训练图像集I，所述图像集I包含Q幅图像；每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应基准显著图集S；
步骤02：对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为其中，/>为标签i在所有训练图片中出现的情况；
步骤03：将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为
步骤04：根据图像Ij的基准显著图Sj计算所述分割区域序列中每个区域对应的显著值
步骤05：根据所述分割区域序列的显著值序列/>计算标签的相关性；所述计算标签的相关性的计算方法如下：
1)若出现的标签m和标签n对应的区域不同，且 标签m和标签n之间的影响因子αmn＝0，αnm＝0，认为标签m和标签n之间不相互影响；
2)若出现的标签m和标签n对应的区域不同，且 则认为标签m和标签n之间相互影响；当/>时，表示标签n对标签m有促进作用，标签m对标签n有抑制作用；当/>时，表示标签n对标签m有抑制作用，标签m对标签n有促进作用，其中，/>
3)若出现的标签m和标签n对应的区域相同，则αmn＝0；
4)标签m对标签m之间的影响因子为αmm＝0；
5)如果标签m和标签n没有同时出现或同时不出现，则规定αmn＝0；步骤06：对训练集的每幅图像进行步骤02到步骤05的计算，得到影响因子矩阵的集合M＝{M1，M2，…，Mi，…，MN}；当所有影响因子计算完成后，得到训练图像j的标签之间的影响因子矩阵Mj，
其中，Mj是N×N的方阵；
步骤07：计算所述矩阵集合M的平均影响因子矩阵
2.如权利要求1所述的基于标签上下文的显著区域提取方法，其特征在于，当时，表示第i个标签出现；当/>时，表示第i个标签没有出现。
3.如权利要求2所述的基于标签上下文的显著区域提取方法，其特征在于，所述分割区域ri j的显著值计算方法为/>等于区域ri j中所有元素对应显著值的平均值，得到区域序列对应的显著值序列/>
4.如权利要求3所述的基于标签上下文的显著区域提取方法，其特征在于，所述步骤06为通过两个标签对应的区域的显著值推理两个标签之间的上下文关系。
5.如权利要求4所述的基于标签上下文的显著区域提取方法，其特征在于，所述平均影响因子矩阵的计算公式为：
其中，βij表示平均影响因子矩阵的一个元素。
6.如权利要求5所述的基于标签上下文的显著区域提取方法，其特征在于，所述测试阶段包括以下子步骤：
步骤11：计算测试图像img的显著图simg；
步骤12：将测试图像img对应的标签序列映射到图像区域，得到分割区域集合
步骤13：通过平均影响因子矩阵对测试图像的显著值进行调整，得到所述测试图像img的最终的显著图，所述调整方法为：测试图像中的像素p的显著值为/>像素p对应的区域标签为第xp个标签，1≤xp≤N，则第xp个标签受其他所有标签的影响因子为/> 则像素p修正后的显著值为/>所有元素调整完毕后对图像的显著值进行归一化。
7.一种基于标签上下文的显著区域提取***，包括训练模块和测试模块，其特征在于，所述训练模块的训练方法包括以下子步骤：
步骤01：训练图像集I，所述图像集I包含Q幅图像；每个所述图像都带有标签信息，标签的集合T包含N个标签，所述训练图像集I对应基准显著图集S；
步骤02：对于训练集中的图像Ij，读取其对应的基准显著图为Sj，对应的标签序列为其中，/>为标签i在所有训练图片中出现的情况；
步骤03：将图像Ij对应的标签序列映射到图像的不同区域，即对图像进行分割，得到的分割区域序列为
步骤04：根据图像Ij的基准显著图Sj计算所述分割区域序列中每个区域对应的显著值
步骤05：根据所述分割区域序列的显著值序列 计算标签的相关性；所述计算标签的相关性的计算方法如下：
1)若出现的标签m和标签n对应的区域不同，且 标签m和标签n之间的影响因子αmn＝0，αnm＝0，认为标签m和标签n之间不相互影响；
2)若出现的标签m和标签n对应的区域不同，且 则认为标签m和标签n之间相互影响；当/>时，表示标签n对标签m有促进作用，标签m对标签n有抑制作用；当/>时，表示标签n对标签m有抑制作用，标签m对标签n有促进作用，其中，/>
3)若出现的标签m和标签n对应的区域相同，则αmn＝0；
4)标签m对标签m之间的影响因子为αmm＝0；
5)如果标签m和标签n没有同时出现或同时不出现，则规定αmn＝0；
步骤06：对训练集的每幅图像进行步骤02到步骤05的计算，得到影响因子矩阵的集合M＝{M1，M2，…，Mi，…，MN}；当所有影响因子计算完成后，得到训练图像j的标签之间的影响因子矩阵Mj，
其中，Mj是N×N的方阵；
步骤07：并计算所述矩阵集合M的平均影响因子矩阵
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010441556.XA CN111666952B (zh) | 2020-05-22 | 2020-05-22 | 一种基于标签上下文的显著区域提取方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010441556.XA CN111666952B (zh) | 2020-05-22 | 2020-05-22 | 一种基于标签上下文的显著区域提取方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111666952A CN111666952A (zh) | 2020-09-15 |
| CN111666952B true CN111666952B (zh) | 2023-10-24 |
Family
ID=72384374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010441556.XA Active CN111666952B (zh) | 2020-05-22 | 2020-05-22 | 一种基于标签上下文的显著区域提取方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666952B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228544A (zh) * | 2016-07-14 | 2016-12-14 | 郑州航空工业管理学院 | 一种基于稀疏表示和标签传播的显著性检测方法 |
| CN107967480A (zh) * | 2016-10-19 | 2018-04-27 | 北京联合大学 | 一种基于标签语义的显著对象提取方法 |
| CN107977948A (zh) * | 2017-07-25 | 2018-05-01 | 北京联合大学 | 一种面向社群图像的显著图融合方法 |
| CN110853053A (zh) * | 2019-10-25 | 2020-02-28 | 天津大学 | 一种以多候选对象为语义知识的显著对象检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989174B (zh) * | 2015-03-05 | 2019-11-01 | 欧姆龙株式会社 | 关注区域提取装置以及关注区域提取方法 |
| US11138464B2 (en) * | 2016-11-30 | 2021-10-05 | Nec Corporation | Image processing device, image processing method, and image processing program |
-
2020
- 2020-05-22 CN CN202010441556.XA patent/CN111666952B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228544A (zh) * | 2016-07-14 | 2016-12-14 | 郑州航空工业管理学院 | 一种基于稀疏表示和标签传播的显著性检测方法 |
| CN107967480A (zh) * | 2016-10-19 | 2018-04-27 | 北京联合大学 | 一种基于标签语义的显著对象提取方法 |
| CN107977948A (zh) * | 2017-07-25 | 2018-05-01 | 北京联合大学 | 一种面向社群图像的显著图融合方法 |
| CN110853053A (zh) * | 2019-10-25 | 2020-02-28 | 天津大学 | 一种以多候选对象为语义知识的显著对象检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| A novel deep network and aggregation model for saliency detection;Ye Liang et al.;《The Visual Computer》;20191209;全文 * |
| Recurrent learning of context for salient region detection;Chunling Wu;《Personal and Ubiquitous Computing》;20180619;全文 * |
| 基于视觉显著性的显著区域提取方法及其应用研究;梁晔;《中国博士学位论文全文数据库 信息科技辑（月刊）》;20180615;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111666952A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bao et al. | Multi-scale structured CNN with label consistency for brain MR image segmentation | |
| CN112163634B (zh) | 实例分割模型样本筛选方法、装置、计算机设备及介质 | |
| CN110059697B (zh) | 一种基于深度学习的肺结节自动分割方法 | |
| CN109858476B (zh) | 标签的扩充方法和电子设备 | |
| CN111932547B (zh) | 图像中目标物的分割方法、装置、电子设备及存储介质 | |
| CN111161249B (zh) | 一种基于域适应的无监督医学图像分割方法 | |
| CN113706372B (zh) | 自动抠图模型建立方法及*** | |
| CN113111716B (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN114549470B (zh) | 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法 | |
| Lee et al. | Bi-directional contrastive learning for domain adaptive semantic segmentation | |
| CN111680757A (zh) | 一种基于自编码器的零样本图像识别算法及*** | |
| CN113065609B (zh) | 图像分类方法、装置、电子设备及可读存储介质 | |
| Zhang et al. | Learning to segment when experts disagree | |
| CN111523578B (zh) | 图像分类方法及装置、神经网络模型的训练方法及装置 | |
| CN110660480B (zh) | 脊骨脱位辅助诊断方法及*** | |
| CN115909079A (zh) | 结合深度特征和自注意力模型的裂缝检测方法及相关设备 | |
| CN116433704A (zh) | 一种基于中心点的细胞核分割方法及相关设备 | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| CN114066905A (zh) | 一种基于深度学习的医学图像分割方法、***、装置 | |
| CN111666952B (zh) | 一种基于标签上下文的显著区域提取方法及*** | |
| CN113052236A (zh) | 一种基于NASNet的肺炎图像分类方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN117541836A (zh) | 多模态医学影像无监督表征学习方法 | |
| Loh et al. | Semi-automated quantitative Drosophila wings measurements | |
| Stanley et al. | An image feature-based approach to automatically find images for application to clinical decision support |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230823 Address after: 1-1201-1, 12th Floor, No. 87 West Third Ring North Road, Haidian District, Beijing, 100048 Applicant after: Beijing Tengxin soft Innovation Technology Co.,Ltd. Address before: 100101, No. 97 East Fourth Ring Road, Chaoyang District, Beijing Applicant before: Beijing Union University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |