CN115063587A - 一种图像处理方法、装置、设备及存储介质 - Google Patents
一种图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115063587A CN115063587A CN202210707348.9A CN202210707348A CN115063587A CN 115063587 A CN115063587 A CN 115063587A CN 202210707348 A CN202210707348 A CN 202210707348A CN 115063587 A CN115063587 A CN 115063587A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- response
- processed
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000004044 response Effects 0.000 claims abstract description 213
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000004913 activation Effects 0.000 claims description 67
- 238000012800 visualization Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 33
- 238000013135 deep learning Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 15
- 238000013528 artificial neural network Methods 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000001537 neural effect Effects 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像处理方法、装置、设备及存储介质,涉及计算机视觉技术领域,有效地提高图像的目标识别准确度。该方法包括:获取待处理图像的高响应区域,高响应区域中各像素点对特征建模的影响度大于第一阈值;获取待处理图像的目标前景,目标前景用于指示待处理图像中目标对象所在的区域;若所述目标前景与所述高响应区域满足预设条件,调整待处理图像中,目标前景之外的目标区域的像素值,使得目标区域中各像素点对特征建模的影响度小于第一阈值,目标区域包含了高响应区域中不属于目标前景的部分。本申请可用于目标识别的过程中。
Description
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着计算机计算的飞速发展,图像信息检索已大规模应用于各种场景。图像信息检索是将一张给定的图片作为输入,采用深度学习算法提取输入图片的特征,进一步基于提取的特征从数据库中查询具体类似特征的一张或多张图片,以及相关的描述信息等。图像信息检索常用于人脸识别,图像查找等场景。
但是,图像信息检索在实际使用的过程中,一般是将图像输入深度学习的目标识别模型中进行目标识别。输入的图像中往往会包含干扰信息(例如无关的部分背景等),而目标识别模型可能会受到这些干扰信息的干扰而无法关注到目标本身,进而导致目标识别的准确度下降。
发明内容
本申请提供一种图像处理方法、装置、设备及存储介质,可以有效地提高图像的目标识别准确度。
第一方面,本申请提供一种图像处理方法,该方法包括:获取待处理图像的高响应区域,高响应区域中各像素点对特征建模的影响度大于第一阈值;获取待处理图像的目标前景;目标前景用于指示待处理图像中目标对象所在的区域;若目标前景与高响应区域满足预设条件,调整待处理图像中,目标前景之外的目标区域的像素值,使得目标区域中各像素点对特征建模的影响度小于第一阈值,目标区域包含了高响应区域中不属于目标前景的部分。
本申请提供的图像处理方法,通过获取待处理图像中的高响应区域和目标前景,在目标前景与高响应区域满足预设条件时,确定待处理图像中存在干扰,进而调整待处理图像中,目标前景之外的目标区域的像素值,以使得目标区域中各像素点对特征建模的影响度小于第一阈值,以去除待处理图像中干扰。该方法改善了目标识别模型在建模时,容易受到干扰信息干扰的情况,有效提高了目标识别的准确度。
一种可能的实现方式中,获取待处理图像的高响应区域,包括:获取待处理图像的特征响应可视化图,特征响应可视化图用于反映待处理图像中各像素点对特征建模的影响度;特征响应可视化图包括每个像素点的响应激活值;将响应激活值大于第一阈值的像素点的区域,作为高响应区域。可以理解,高响应区域指示待处理图像中对特征建模影响较大的部分,有利于分析这些影响较大的部分是不是目标识别所需要关注的区域,以后续确定待处理图像中是否存在干扰信息。
另一种可能的实现方式中,预设条件为,高响应区域与目标前景的重合区域的面积,与高响应区域的面积的比值小于第二阈值。可以理解,高响应区域用于指示待处理图像中哪些区域对特征建模的影响较大,目标前景用于指示待处理图像中哪些区域是主要想要进行特征建模的区域,因此,结合高响应区域和目标前景,可以有效分析出是否存在对特征建模有影响的干扰信息,即在目标前景之外,存在过多的高响应区域,以便有针对性的消除这些干扰信息。
又一种可能的实现方式中,调整待处理图像中目标前景之外的目标区域的像素值,使得目标区域中各像素点对特征建模的影响度小于第一阈值,包括:采用均值模糊的方式,将目标区域的像素值调整一致,使得目标区域中各像素点对特征建模的影响度小于第一阈值。
又一种可能的实现方式中,目标区域为:高响应区域中不属于目标前景的部分;或者,待处理图像中,目标前景之外的,将高响应区域的边界外扩第三阈值的区域;或者,待处理图像中目标前景之外的所有区域。
又一种可能的实现方式中,获取待处理图像的特征响应可视化图,包括:通过深度学习对待处理图像建模,得到多个节点;一个节点为待处理图像建模得到的建模特征向量在一个维度上的数据;确定每个节点的激活值响应结果;激活值响应结果用于指示待处理图像各区域对节点的贡献大小;确定每个节点的权重;一个节点的权重由该节点的激活值响应结果,和所有节点的激活值响应结果确定;将每个节点的激活值响应结果,以及每个节点的权重,经过归一化函数和上采样函数处理,得到特征响应可视化图。
又一种可能的实现方式中,确定每个节点的激活值响应结果,包括:通过深度学习对待处理图像建模,得到目标特征图;目标特征图为待处理图像建模得到的多个特征图中任一个;基于目标特征图和节点,采用类激活热力图(gradient-weighted classactivation map,Grad-CAM)方法确定每个节点的激活值响应结果。
又一种可能的实现方式中,获取待处理图像的目标前景,包括:基于深度学习的语义分割模型,或者传统分割算法对待处理图像进行分割,得到目标前景。
第二方面,本申请提供一种图像处理装置,该装置包括:获取模块和调整模块。其中:
获取模块用于,获取待处理图像的高响应区域,高响应区域中各像素点对特征建模的影响度大于第一阈值。
获取模块还用于,获取待处理图像的目标前景;目标前景用于指示待处理图像中目标对象所在的区域。
调整模块用于,若目标前景与高响应区域满足预设条件,调整待处理图像中,目标前景之外的目标区域的像素值,使得目标区域中各像素点对特征建模的影响度小于第一阈值,目标区域包含了高响应区域中不属于目标前景的部分。
一种可能的实现方式中,获取模块具体用于,获取待处理图像的特征响应可视化图,特征响应可视化图用于反映待处理图像中各像素点对特征建模的影响度;特征响应可视化图包括每个像素点的响应激活值;将响应激活值大于第一阈值的像素点的区域,作为高响应区域。
另一种可能的实现方式中,预设条件可以为:高响应区域与目标前景的重合区域的面积,与高响应区域的面积的比值小于第二阈值。
又一种可能的实现方式中,调整模块具体用于,采用均值模糊的方式,将目标区域的像素值调整一致,使得目标区域中各像素点对特征建模的影响度小于第一阈值。
又一种可能的实现方式中,目标区域为:高响应区域中不属于目标前景的部分;或者,待处理图像中,目标前景之外的,将高响应区域的边界外扩第三阈值的区域;或者,待处理图像中目标前景之外的所有区域。
又一种可能的实现方式中,获取模块具体用于,通过深度学习对待处理图像建模,得到多个节点;一个节点为待处理图像建模得到的建模特征向量在一个维度上的数据;确定每个节点的激活值响应结果;激活值响应结果用于指示待处理图像各区域对节点的贡献大小;确定每个节点的权重;一个节点的权重由该节点的激活值响应结果,和所有节点的激活值响应结果确定;将每个节点的激活值响应结果,以及每个节点的权重,经过归一化函数和上采样函数处理,得到特征响应可视化图。
又一种可能的实现方式中,上述装置还包括:确定模块。确定模块用于,通过深度学习对待处理图像建模,得到目标特征图;目标特征图为待处理图像建模得到的多个特征图中任一个;基于目标特征图和节点,采用Grad-CAM方法确定每个节点的激活值响应结果。
又一种可能的实现方式中,获取模块具体用于,基于深度学习的语义分割模型,或者传统分割算法对待处理图像进行分割,得到目标前景。
第三方面,本申请提供一种图像处理设备,该图像处理设备包括:处理器和存储器;存储器存储有处理器可执行的指令;处理器被配置为执行指令时,使得图像处理设备实现上述第一方面的方法。
第四方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括:计算机软件指令;当计算机软件指令在计算机中运行时,使得计算机实现上述第一方面的方法。
第五方面,本申请提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面描述的相关方法的步骤,以实现上述第一方面的方法。
第六方面,本申请提供一种芯片,该芯片包括处理器和接口,处理器通过接口与存储器耦合,当处理器执行存储器中的计算机程序或图像处理设备执行指令时,上述第一方面描述的方法被执行。
上述第二方面至第六方面的有益效果可以参考第一方面的对应描述,不再赘述。
附图说明
图1为本申请提供的一种图像处理方法的应用环境示意图;
图2为本申请提供的一种图像处理方法的流程示意图;
图3为本申请提供的一种获取特征响应可视化图具体步骤的流程示意图;
图4为本申请提供的一种待处理图像及对应的特征响应可视化图的示意图;
图5为本申请提供的一种高响应区域的示意图;
图6为本申请提供的一种目标前景的示意图;
图7为本申请提供的一种重合区域的示意图;
图8为本申请提供的一种目标区域的示意图;
图9为本申请提供的另一种目标区域的示意图;
图10为本申请提供的一种已处理图像的示意图;
图11为本申请提供的一种图像处理的流程示意图;
图12为本申请提供的一种图像处理装置的组成示意图;
图13为本申请提供的一种图像处理设备的组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
由于本申请实施例涉及大量模型,各个模型可以采用深度学习模型或机器学习模型实现,例如采用神经网络实现,为了便于理解,下面对神经网络等相关概念进行介绍。
(1)神经网络(neural network,NN)
神经网络是机器学习模型,是一种模拟人脑的神经网络以能够实现类人工智能的机器学习技术。可以根据实际需求配置神经网络的输入及输出,并通过样本数据对神经网络训练,以使得其输出与样本数据对应的真实输出的误差最小。神经网络可以是由神经单元组成的,神经单元可以是指以xs和截距1为输入的运算单元,该运算单元的输出可以为:
其中,s=1、2、……n,n为大于1的自然数,Ws为xs的权重,b为神经单元的偏置。f为神经单元的激活函数(activation functions),用于将非线性特性引入神经网络中,来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络,即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连,来提取局部接受域的特征,局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network,DNN),也称多层神经网络,可以理解为具有很多层隐含层的神经网络,这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分,DNN内部的神经网络可以分为三类:输入层,隐含层,输出层。一般来说第一层是输入层,最后一层是输出层,中间的层数都是隐含层。层与层之间是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂,但是就每一层的工作来说,其实并不复杂,简单来说就是如下线性关系表达式:其中,是输入向量,是输出向量,b是偏移向量,W是权重矩阵(也称系数),α()是激活函数。每一层仅仅是对输入向量经过如此简单的操作得到输出向量由于DNN层数多,则系数W和偏移向量b的数量也就很多了。这些参数在DNN中的定义如下所述:以系数W为例:假设在一个三层的DNN中,第二层的第4个神经元到第三层的第2个神经元的线性系数定义为上标3代表系数W所在的层数,而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是:第L-1层的第k个神经元到第L层的第j个神经元的系数定义为需要注意的是,输入层是没有W参数的。在深度神经网络中,更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言,参数越多的模型复杂度越高,“容量”也就越大,也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程,其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络(convolutional neural networks,CNN)
CNN是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器,卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中,一个神经元可以只与部分邻层神经元连接。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是:图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置,都能使用同样的学习得到的图像信息。在同一卷积层中,可以使用多个卷积核来提取不同的图像信息,一般地,卷积核数量越多,卷积操作反映的图像信息越丰富。
卷积核可以以随机大小的矩阵的形式初始化,在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外,共享权重带来的直接好处是减少卷积神经网络各层之间的连接,同时又降低了过拟合的风险。
如背景技术的描述,在目标识别的过程中,一般将图像输入深度学习的目标识别模型中,以对图像中关键的目标特征进行提取,以进行目标识别。但是由于图像中存在干扰信息(例如无关背景、其他对象等),目标识别模型在特征提取过程中被这些干扰信息所影响,导致目标识别的准确度下降。
综上所述,如何消除图像中干扰信息的影响,以提高目标识别的准确度,是一个亟需解决的问题。
在此背景技术下,本申请实施例提供一种图像处理方法,该方法通过获取待处理图像中的高响应区域,又获取待处理图像中用于指示目标对象所在区域的目标前景,进而根据高响应区域和目标前景,在确定待处理图像中存在干扰信息时,调整待处理图像中,目标前景之外的目标区域的像素值,该目标区域包括高响应区域中不属于目标前景的部分,以使得目标区域中各像素点对特征建模的影响度大大减小,实现了去除待处理图像中干扰信息的目的,进而避免了在目标识别过程中,目标识别模型容易将干扰信息作为有效特征进行提取而造成数据污染的情况,进而提高目标识别的准确度。
下面结合说明书附图,对本申请提供的方案进行说明。
本申请实施例提供的图像处理方法,可以应用于图1所示的应用环境中。如图1所示,该应用环境包括目标识别模型对图像进行处理,以及输出特征两部分。示例性的,该图像处理方法,可以在目标识别模型对图像进行处理的过程中实现。
本申请实施例提供的图像处理方法,可以由图像处理装置来执行。例如,该图像处理装置可以为服务器或电子设备或其他。本申请实施例对于执行本申请方案的设备的产品形态不予限定。其中,这里所说的服务器可以是多个服务器组成的服务器集群、或者单个服务器、又或者计算机。图像处理装置具体可以是服务器中的处理器或处理芯片等。本申请实施例对上述服务器的具体设备形态不作限制。又例如,该图像处理装置可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digitalassistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等。本申请对图像处理装置的具体形态不作特殊限制。下文中以图像处理装置为服务器进行举例说明。
图2为本申请实施例提供的一种图像处理方法的流程示意图。示例性的,本申请提供的图像处理方法,可以应用于上述应用环境中。
如图2所示,本申请提供的图像处理方法具体可以包括以下步骤:
S201、图像处理装置获取待处理图像的高响应区域。
其中,高响应区域中各像素点对特征建模的影响度大于第一阈值。该第一阈值可以是根据实际的经验值事先设定的,认为某像素点对特征建模的影响度不可忽略的门限值。
示例性的,像素点对特征建模的影响度可以为特征响应可视化图中的响应激活值。
在一些实施例中,在需要对某待处理图像进行目标识别时,图像处理装置可以获取该待处理图像中,像素点对特征建模的影响度大于第一阈值的高响应区域。其中,待处理图像中像素点的影响度可以采用特征响应可视化技术确定。
需要说明的是,影响度大于第一阈值,确定为高响应区域。若影响度小于第一阈值,则确定为低响应区域。若影响度等于第一阈值的情况,则可以根据实际需求配置,该等于第一阈值属于确定高响应区域的范畴,还是属于确定低响应区域的范畴,本申请实施例对此不作具体限制。
可以理解,高响应区域指示待处理图像中对特征建模影响较大的部分,有利于分析这些影响较大的部分是不是目标识别所需要关注的区域,以后续确定待处理图像中是否存在干扰信息。
具体的,如图3所示,S201中图像处理装置获取待处理图像的高响应区域的具体步骤可以包括如下S201a-S201b。
S201a、图像处理装置获取待处理图像的特征响应可视化图。
其中,特征响应可视化图用于反映待处理图像中各像素点对特征建模的影响度。该特征响应可视化图包括每个像素点的响应激活值,响应激活值即直观反映对特征建模的影响度大小。
在一些实施例中,图像处理装置可以获取待处理图像的特征响应可视化图。图4为本申请实施例提供的待处理图像及其对应的特征响应可视化图,如图4所示,可以看出特征响应可视化图类似于热力图。在特征响应可视化图中,各区域颜色的明暗程度反映各区域的影响度大小。越靠近图像中心区域,其颜色越亮(即越接近白色),说明影响度越大。越靠近图像边缘区域,其颜色越暗(即越接近黑色),说明影响度越小。
示例性的,获取待处理图像的特征响应可视化图的具体步骤,可以包括如下S1-S4。
S1、图像处理装置通过深度学习对待处理图像建模,得到多个节点。
其中,一个节点的为待处理图像建模得到的建模特征向量在一个维度上的数据。
图像处理装置可以采用深度学习中目标识别模型,对待处理图像建模得到建模特征向量。建模特征向量包括多个节点,如N个节点。N为目标识别模型输出的特征维度,因此,一个节点表示建模特征向量在一个维度上的数据。
S2、图像处理装置确定每个节点的激活值响应结果。
其中,激活值响应结果用于指示待处理图像中各区域对节点的贡献大小。
具体的,图像处理装置通过深度学习对待处理图像建模,得到目标特征图。该目标特征图是采用深度学习中卷积神经网络对待处理图像进行处理,得到的多个特征图中任意一个。由于利用卷积神经网络抽取的每层特征图都可以保留图像的空间信息,并且,随着卷积次数的增加,越后层的特征图的抽象程度越高,语义信息越丰富。因此,本申请实施例采用卷积神经网络输出的最后一层特征图,来确定特征响应可视化图。
进一步的,图像处理装置可以基于目标特征图和节点,采用Grad-CAM方法确定每个节点的激活值响应结果,以确定待处理图像中各区域对节点的贡献大小。
其中,Grad-CAM方法的计算公式满足如下表达式:
上述公式中,L(fa)表示节点的激活值响应结果,f表示前述建模特征向量,fa表示第a个节点。Norm为深度学习领域中的归一化函数,Relu为线性整流函数。m,n分别代表目标特征图的长和宽。代表对对应值求偏导数,可以通过神经网络反向传播方法计算梯度来获得。Ak为目标特征图的第k通道,为第k通道特征图上位置为(i,j)的值。
针对建模特征向量中代表每个维度数据的节点,采用上述Grad-CAM公式确定各节点的激活值响应结果。
S3、图像处理装置确定每个节点的权重。
其中,一个节点的权重由该节点的激活值响应结果,和所有节点的激活值响应结果确定。权重表示各节点对于特征建模的重要性。
在确定每个节点的激活值响应结果后,图像处理装置可以确定每个节点的权重,确定权重的过程满足如下表达式:
其中,wa表示节点a的权重,e为自然常数,fp表示第p个节点。
S4、图像处理装置将每个节点的激活值响应结果,以及每个节点的权重,经过归一化函数和上采样函数处理,得到特征响应可视化图。
在确定出每个节点的激活值响应结果和权重后,图像处理装置将每个节点的激活值响应结果,以及每个节点的权重,经过归一化函数和上采样函数处理,得到特征响应可视化图。
具体的,处理过程满足如下表达式:
其中,F即为特征响应可视化图,其包括各像素点的激活值,范围在0到1之间,其值越大代表待处理图像中的像素点对特征建模的影响越大。Upsample为上采样函数,例如最近邻上采样或双线性上采样。可以理解,特征响应可视化图为数字矩阵,其分辨率与待处理图像一致,每个数字大小在0到1之间。
S201b、图像处理装置将响应激活值大于第一阈值的像素点的区域,作为高响应区域。
在一些实施例中,在得到特征响应可视化图后,图像处理装置可以按照预先设定的第一阈值,将响应激活值大于第一阈值的像素点构成的区域,作为高响应区域,以后续用于确定待处理图像中是否存在干扰信息。
例如,结合图4所示的特征响应可视化图进行说明,图像处理装置设置第一阈值,确定出的高响应区域可以如图5中,颜色较浅部分所示。其余的颜色较深的区域,表示对特征建模的影响度较低的区域,可以忽略不计。
S202、图像处理装置获取待处理图像的目标前景。
其中,目标前景用于指示待处理图像中目标对象所在的区域。所谓前景为图像领域中的概念,与背景相对。可以说图像由前景部分和背景部分组成。例如,包含人像的图像中,人像即为前景,人像之外的即为背景。
在一些实施例中,图像处理装置可以获取待处理图像中,目标对象所在的目标前景。该目标对象即为待处理图像中,需要识别的对象,例如人像等。
获取目标前景的方式有多种。具体的,本申请实施例中图像处理装置可以基于深度学习的语义分割模型,或者传统分割算法对待处理图像进行分割,得到目标前景。
例如,如图6所示,待处理图像分割出来的目标前景,为图中所示前景图像中的白色区域部分。可以看出,白色区域近似为待处理图像中人像部分的轮廓围成的区域。
高响应区域用于指示待处理图像中哪些区域对特征建模的影响较大,目标前景用于指示待处理图像中哪些区域是主要想要进行特征建模的区域,因此,结合高响应区域和目标前景,可以有效分析出是否存在对特征建模有影响的干扰信息,以便有针对性的消除这些干扰信息。具体确定是否存在干扰信息见下述S203。
S203、若目标前景与高响应区域满足预设条件,图像处理装置调整待处理图像中,目标前景之外的目标区域的像素值,使得目标区域中各像素点对特征建模的影响度小于第一阈值。
其中,预设条件用于指示待处理图像中存在干扰信息。
需要说明的是,预设条件可以用于指示待处理图像中目标前景区域之外存在过多的高响应区域,可以根据实际需求配置预设条件的内容,本申请实施例对此不予限定,只要可以表示目标前景外的存在过多高响应区域即可。
在一些实施例中,若目标前景与高响应区域满足预设条件,确定待处理图像中存在干扰信息,执行下述S203中调整像素值的操作。相对的,若目标前景与高响应区域不满足预设条件,确定该待处理图像中不存在干扰信息,则待处理图像无需进行处理,直接使用原始特征进行目标识别即可。
一种可能的实现方式中,预设条件可以为:高响应区域与目标前景的重合区域的面积,与高响应区域的面积的比值小于第二阈值。其中,重合区域如图7所示的颜色较浅的区域,第二阈值为根据实际经验设置的比例门限值。重合区域的面积以及高响应区域的面积,可以采用相关的面积函数来确定。
需要说明的是,对于高响应区域与目标前景的重合区域的面积,与高响应区域的面积的比值等于第二阈值的情况,可以根据实际需求,确定为该待处理图像中不存在干扰信息,或者,确定为该待处理图像中存在干扰信息执行S203的操作,本申请实施例对此不作具体限制。
另一种可能的实现方式中,预设条件可以为:高响应区域中,与目标前景的非重合区域的面积,与高响应区域的面积的比值大于第三阈值,该第三阈值为根据实际经验设置的比例门限值。
需要说明的是,对于高响应区域中,与目标前景的非重合区域的面积,与高响应区域的面积的比值等于第三阈值的情况,可以根据实际需求,确定为该待处理图像中不存在干扰信息,或者,确定为该待处理图像中存在干扰信息执行S203的操作,本申请实施例对此不作具体限制。
可以理解,目标前景与高响应区域的重合区域与高响应区域的面积比值越接近1(高响应区域中,与目标前景的非重合区域的面积,与高响应区域的面积的比值越接近0),说明高响应区域与目标前景越贴合,则待处理图像中目标前景外基本没有高响应区域,则在建模过程中基本没有干扰信息会对特征建模造成影响。相对的,重合区域与高响应区域的面积比值越小(高响应区域中,与目标前景的非重合区域的面积,与高响应区域的面积的比值越大),说明目标前景外存在较多的高响应区域,若直接对待处理图像进行建模,则可能存在背景噪声等因素会对建模过程产生较大的影响,进而影响目标识别的准确度。
进一步的,若目标前景与高响应区域满足预设条件(即确定存在干扰信息时),在图像处理装置可以调整待处理图像中,目标前景之外的目标区域的像素值,使得目标区域中各像素点对特征建模的影响度小于第一阈值,即使得目标区域变为前述低响应区域。
一种可能的实现方式中,图像处理装置可以采用均值模糊的方式,将所述目标区域的像素值调整一致,使得所述目标区域中各像素点对特征建模的影响度小于第一阈值。具体实现为,将目标区域中各像素点的像素值求和作平均,以平均值作为每个像素点新的像素值来覆盖原有像素值,使得目标区域的像素值一致,进而实现目标区域转换为低响应区域。
可以理解,像素值一致直观表现为背景色调一致,在图像上较为明显地区分目标对象和其他部分。因此,在目标识别过程中,将目标对象之外的区域色调调整一致,有利于模型对目标对象的识别与提取。因此本申请实施例采用均值模糊的方式,将目标区域的像素调节一致。
另一种可能的实现方式中,图像处理装置可以将目标区域的像素值置为预设值,以将目标区域的像素值调整一致,使得目标区域中各像素点对特征建模的影响度小于第一阈值。例如将目标区域中像素值都置为0或者都置为255,使得目标区域呈现纯黑色或者纯白色,以避免目标区域对特征建模的影响。
其中,目标区域包含了高响应区域中不属于目标前景的部分。
一种可能的实现方式中,上述目标区域可以为高响应区域中不属于目标前景的部分,即将目标前景之外的高响应区域作为目标区域以进行处理。
另一种可能的实现方式中,考虑到实际区域在确定过程中的误差,目标区域也可以为待处理图像中,目标前景之外的,将高响应区域的边界外扩第三阈值的区域。例如,图8提供一种目标区域的示意图。如图8所示,黑色区域部分为目标前景。目标前景之外,虚线圈选出的部分为高响应区域。另外,图8中还有实线圈选出的,将高响应区域包含在内的不规则区域,该不规则区域即为高响应区域外扩第三阈值的目标区域。
其中,该第三阈值可以根据实际经验进行设定,例如设置为5个像素,则对于目标前景之外的,高响应区域中任一像素点,将与该像素点的距离小于等于5的所有像素点认为是目标区域,进而将像素值调整一致。例如,下表1为距离像素点(x,y)的距离小于或等于1的所有像素点的位置示意。
表1
(x-1,y+1) | (x,y+1) | (x+1,y+1) |
(x-1,y) | (x,y) | (x+1,y) |
(x-1,y-1) | (x,y-1) | (x+1,y-1) |
再一种可能的实现方式中,由于目标前景之外的所有区域,一般来说均为无关的背景区域,因此,上述目标区域还可以为待处理图像中目标前景之外的所有区域,进而执行将目标前景外所有区域进行均值模糊或者置为同一预设值的操作。
以上述目标区域为高响应区域中不属于目标前景的部分为例,图9提供一种目标区域的示意图,图中示出被白色线条圈选出的目标区域1和目标区域2。可以看出,对于目标前景之外的高响应区域,被圈选出来,以对其进行像素值调整的操作。以像素均值模糊的调整方式为例,对图9中目标区域进行调整,最后得到的滤除目标前景外的高响应区域后的图像,如图10所示,在处理后的图像中目标区域部分的颜色已调整一致。
在确定待处理图像中存在干扰信息,并执行S204对待处理图像进行处理后,图像处理装置可以将已处理的图像重新输入目标识别模型中,以进行新的特征提取并进行目标识别。
图11为本申请实施例提供的一种图像处理的流程示意图。首先,输入图像(即前述待处理图像),针对该图像,提取目标前景(具体见上述S202)和高响应区域(具体见上述S201)。进而,判断是否存在干扰(具体见上述S203)。若是,则删除图像中的干扰信息(具体见上述S204),进而通过目标识别模型提取新特征。若否,则使用图像的原始特征即可。
上述实施例提供的技术方案至少带来以下有益效果,本申请实施例提供的图像处理方法,通过获取待处理图像中的高响应区域和目标前景,在目标前景与高响应区域满足预设条件时,确定待处理图像中存在干扰,进而调整待处理图像中,目标前景之外的目标区域的像素值,以使得目标区域中各像素点对特征建模的影响度小于第一阈值,以去除待处理图像中干扰。该方法改善了目标识别模型在建模时,容易受到干扰信息干扰的情况。在检测到存在干扰信息后,可以自动筛除干扰信息,提高目标识别的准确度。
可以看出,上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,本申请实施例提供了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在示例性的实施例中,本申请还提供一种图像处理装置。该图像处理装置可以包括一个或多个功能模块,用于实现以上方法实施例的图像处理方法。
例如,图12为本申请实施例提供的一种图像处理装置的组成示意图。如图12所示,该图像处理装置包括:获取模块1201和调整模块1202。获取模块1201和调整模块1202之间互相连接。
获取模块1201用于,获取待处理图像的高响应区域,高响应区域中各像素点对特征建模的影响度大于第一阈值。
获取模块1201还用于,获取待处理图像的目标前景;目标前景用于指示待处理图像中目标对象所在的区域。
调整模块1202用于,若目标前景与高响应区域满足预设条件,调整待处理图像中,目标前景之外的目标区域的像素值,使得目标区域中各像素点对特征建模的影响度小于第一阈值,目标区域包含了高响应区域中不属于目标前景的部分。
在一些实施例中,获取模块1201具体用于,获取待处理图像的特征响应可视化图,特征响应可视化图用于反映待处理图像中各像素点对特征建模的影响度;特征响应可视化图包括每个像素点的响应激活值;将响应激活值大于第一阈值的像素点的区域,作为高响应区域。
在一些实施例中,预设条件为,高响应区域与目标前景的重合区域的面积,与高响应区域的面积的比值小于第二阈值。
在一些实施例中,调整模块1202具体用于,采用均值模糊的方式,将目标区域的像素值调整一致,使得目标区域中各像素点对特征建模的影响度小于第一阈值。
在一些实施例中,目标区域为:高响应区域中不属于目标前景的部分;或者,待处理图像中,目标前景之外的,将高响应区域的边界外扩第三阈值的区域;或者,待处理图像中目标前景之外的所有区域。
在一些实施例中,获取模块1201具体用于,通过深度学习对待处理图像建模,得到多个节点;一个节点为待处理图像建模得到的建模特征向量在一个维度上的数据;确定每个节点的激活值响应结果;激活值响应结果用于指示待处理图像各区域对节点的贡献大小;确定每个节点的权重;一个节点的权重由该节点的激活值响应结果,和所有节点的激活值响应结果确定;将每个节点的激活值响应结果,以及每个节点的权重,经过归一化函数和上采样函数处理,得到特征响应可视化图。
在一些实施例中,上述装置还包括:确定模块1203。确定模块1202用于,通过深度学习对待处理图像建模,得到目标特征图;目标特征图为待处理图像建模得到的多个特征图中任一个;基于目标特征图和节点,采用Grad-CAM方法确定每个节点的激活值响应结果。
在一些实施例中,获取模块1201具体用于,基于深度学习的语义分割模型,或者传统分割算法对待处理图像进行分割,得到目标前景。
在采用硬件的形式实现上述集成的模块的功能的情况下,本申请实施例提供了一种图像处理设备的组成示意图,该图像处理设备可以是上述图像处理装置。如图13所示,该图像处理设备1300包括:处理器1302,通信接口1303,总线1304。可选的,图像处理设备1300还可以包括存储器1301。
处理器1302,可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器1302可以是中央处理器,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器1302也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
通信接口1303,用于与其他设备通过通信网络连接。该通信网络可以是以太网,无线接入网,无线局域网(wireless local area networks,WLAN)等。
存储器1301,可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
作为一种可能的实现方式,存储器1301可以独立于处理器1302存在,存储器1301可以通过总线1304与处理器1302相连接,用于存储指令或者程序代码。处理器1302调用并执行存储器1301中存储的指令或程序代码时,能够实现本申请实施例提供的图像处理方法。
另一种可能的实现方式中,存储器1301也可以和处理器1302集成在一起。
总线1304,可以是扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。总线1304可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将图像处理装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机指令来指示相关的硬件完成,该程序可存储于上述计算机可读存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的或内存。上述计算机可读存储介质也可以是上述图像处理装置的外部存储设备,例如上述XXXX装置上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,上述计算机可读存储介质还可以既包括上述图像处理装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述图像处理装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供一种计算机程序产品,该计算机产品包含计算机程序,当该计算机程序产品在计算机上运行时,使得该计算机执行上述实施例中所提供的任一项图像处理方法。
本申请实施例还提供了一种芯片,包括:处理器和接口,处理器通过接口与存储器耦合,当处理器执行存储器中的计算机程序或图像处理设备执行指令时,使得上述实施例提供的任意一种方法被执行。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(Comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (12)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像的高响应区域,所述高响应区域中各像素点对特征建模的影响度大于第一阈值;
获取所述待处理图像的目标前景;所述目标前景用于指示所述待处理图像中目标对象所在的区域;
若所述目标前景与所述高响应区域满足预设条件,调整所述待处理图像中,所述目标前景之外的目标区域的像素值,使得所述目标区域中各像素点对特征建模的影响度小于所述第一阈值,所述目标区域包含了所述高响应区域中不属于所述目标前景的部分。
2.根据权利要求1所述的方法,其特征在于,所述获取待处理图像的高响应区域,包括:
获取所述待处理图像的特征响应可视化图,所述特征响应可视化图用于反映所述待处理图像中各像素点对特征建模的影响度;所述特征响应可视化图包括每个像素点的响应激活值;
将所述响应激活值大于所述第一阈值的像素点的区域,作为所述高响应区域。
3.根据权利要求1所述的方法,其特征在于,所述预设条件为,所述高响应区域与所述目标前景的重合区域的面积,与所述高响应区域的面积的比值小于第二阈值。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述调整所述待处理图像中所述目标前景之外的目标区域的像素值,使得所述目标区域中各像素点对特征建模的影响度小于所述第一阈值,包括:
采用均值模糊的方式,将所述目标区域的像素值调整一致,使得所述目标区域中各像素点对特征建模的影响度小于所述第一阈值。
5.根据权利要求4所述的方法,其特征在于,所述目标区域为:
所述高响应区域中不属于所述目标前景的部分;
或者,
所述待处理图像中,所述目标前景之外的,将所述高响应区域的边界外扩第三阈值的区域;
或者,
所述待处理图像中所述目标前景之外的所有区域。
6.根据权利要求2所述的方法,其特征在于,所述获取所述待处理图像的特征响应可视化图,包括:
通过深度学习对所述待处理图像建模,得到多个节点;一个节点为所述待处理图像建模得到的建模特征向量在一个维度上的数据;
确定每个所述节点的激活值响应结果;所述激活值响应结果用于指示所述待处理图像各区域对所述节点的贡献大小;
确定每个所述节点的权重;一个节点的权重由该节点的激活值响应结果,和所有节点的激活值响应结果确定;
将每个所述节点的激活值响应结果,以及每个所述节点的权重,经过归一化函数和上采样函数处理,得到所述特征响应可视化图。
7.根据权利要求6所述的方法,其特征在于,所述确定每个所述节点的激活值响应结果,包括:
通过深度学习对所述待处理图像建模,得到目标特征图;所述目标特征图为所述待处理图像建模得到的多个特征图中任一个;
基于目标特征图和所述节点,采用类激活热力图Grad-CAM方法确定每个所述节点的激活值响应结果。
8.根据权利要求1-3任一项或5-7任一项所述的方法,其特征在于,所述获取所述待处理图像的目标前景,包括:
基于深度学习的语义分割模型,或者传统分割算法对所述待处理图像进行分割,得到所述目标前景。
9.一种图像处理装置,其特征在于,所述装置包括:获取模块和调整模块;
所述获取模块用于,获取待处理图像的高响应区域,所述高响应区域中各像素点对特征建模的影响度大于第一阈值;
所述获取模块还用于,获取所述待处理图像的目标前景;所述目标前景用于指示所述待处理图像中目标对象所在的区域;
所述调整模块用于,若所述目标前景与所述高响应区域满足预设条件,调整所述待处理图像中,所述目标前景之外的目标区域的像素值,使得所述目标区域中各像素点对特征建模的影响度小于所述第一阈值,所述目标区域包含了所述高响应区域中不属于所述目标前景的部分。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:确定模块;
所述获取模块具体用于,获取所述待处理图像的特征响应可视化图,所述特征响应可视化图用于反映所述待处理图像中各像素点对特征建模的影响度;所述特征响应可视化图包括每个像素点的响应激活值;将所述响应激活值大于所述第一阈值的像素点的区域,作为所述高响应区域;
所述高响应区域与所述目标前景的重合区域的面积,与所述高响应区域的面积的比值小于第二阈值;
所述调整模块具体用于,采用均值模糊的方式,将所述目标区域的像素值调整一致,使得所述目标区域中各像素点对特征建模的影响度小于所述第一阈值;
所述目标区域为:所述高响应区域中不属于所述目标前景的部分;或者,所述待处理图像中,所述目标前景之外的,将所述高响应区域的边界外扩第三阈值的区域;或者,所述待处理图像中所述目标前景之外的所有区域;
所述获取模块具体用于,通过深度学习对所述待处理图像建模,得到多个节点;一个节点为所述待处理图像建模得到的建模特征向量在一个维度上的数据;确定每个所述节点的激活值响应结果;所述激活值响应结果用于指示所述待处理图像各区域对所述节点的贡献大小;确定每个所述节点的权重;一个节点的权重由该节点的激活值响应结果,和所有节点的激活值响应结果确定;将每个所述节点的激活值响应结果,以及每个所述节点的权重,经过归一化函数和上采样函数处理,得到所述特征响应可视化图;
所述确定模块用于,通过深度学习对所述待处理图像建模,得到目标特征图;所述目标特征图为所述待处理图像建模得到的多个特征图中任一个;基于目标特征图和所述节点,采用Grad-CAM方法确定每个所述节点的激活值响应结果;
所述获取模块具体用于,基于深度学习的语义分割模型,或者传统分割算法对所述待处理图像进行分割,得到所述目标前景。
11.一种图像处理设备,其特征在于,所述图像处理设备包括:处理器和存储器;
所述存储器存储有所述处理器可执行的指令;
所述处理器被配置为执行所述指令时,使得所述图像处理设备实现如权利要求1-8任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括:计算机软件指令;
当所述计算机软件指令在计算机中运行时,使得所述计算机实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210707348.9A CN115063587A (zh) | 2022-06-21 | 2022-06-21 | 一种图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210707348.9A CN115063587A (zh) | 2022-06-21 | 2022-06-21 | 一种图像处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115063587A true CN115063587A (zh) | 2022-09-16 |
Family
ID=83201613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210707348.9A Pending CN115063587A (zh) | 2022-06-21 | 2022-06-21 | 一种图像处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115063587A (zh) |
-
2022
- 2022-06-21 CN CN202210707348.9A patent/CN115063587A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949255B (zh) | 图像重建方法及设备 | |
CN110188795B (zh) | 图像分类方法、数据处理方法和装置 | |
WO2021043168A1 (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
CN111080628A (zh) | 图像篡改检测方法、装置、计算机设备和存储介质 | |
CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
CN112651438A (zh) | 多类别图像的分类方法、装置、终端设备和存储介质 | |
CN113326930B (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
US20200279358A1 (en) | Method, device, and system for testing an image | |
WO2021164725A1 (zh) | 去除摩尔纹的方法与装置 | |
CN113065645B (zh) | 孪生注意力网络、图像处理方法和装置 | |
CN111832437A (zh) | 建筑图纸识别方法、电子设备及相关产品 | |
CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
CN110610143B (zh) | 多任务联合训练的人群计数网络方法、***、介质及终端 | |
US11615612B2 (en) | Systems and methods for image feature extraction | |
CN113191489B (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 | |
CN114155365B (zh) | 模型训练方法、图像处理方法及相关装置 | |
CN111339862B (zh) | 一种基于通道注意力机制的遥感场景分类方法及装置 | |
CN114037888A (zh) | 基于联合注意力和自适应nms的目标检测方法和*** | |
CN111260655A (zh) | 基于深度神经网络模型的图像生成方法与装置 | |
CN111860582A (zh) | 图像分类模型构建方法、装置、计算机设备和存储介质 | |
CN111126250A (zh) | 一种基于ptgan的行人重识别方法及装置 | |
CN116403064B (zh) | 图片处理方法、***、设备及介质 | |
CN116091844A (zh) | 一种基于边缘计算的图像数据处理方法及*** | |
CN112801045B (zh) | 一种文本区域检测方法、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |