CN111753915A - 一种图像处理装置、方法、设备及介质 - Google Patents
一种图像处理装置、方法、设备及介质 Download PDFInfo
- Publication number
- CN111753915A CN111753915A CN202010606010.5A CN202010606010A CN111753915A CN 111753915 A CN111753915 A CN 111753915A CN 202010606010 A CN202010606010 A CN 202010606010A CN 111753915 A CN111753915 A CN 111753915A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- initial model
- calculation
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 83
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000003672 processing method Methods 0.000 claims description 23
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理装置、方法、电子设备及计算机可读存储介质，该装置包括：图像输入模块，用于将原始图像数据输入至图像分类初始模型；蒙版确定模块，用于获取图像分类初始模型中各非线性层对原始图像数据的计算输出状态，确定各非线性层的计算蒙版；模板替换模块，用于将各非线性层替换为对应的计算蒙版以生成图像区域分析模型；区域分析模块，用于将原始图像数据中在目标图像子区域外的数据置零后输入至图像区域分析模型中，以获取目标图像子区域对目标图像类别的实际贡献度；模型校验模块，用于比较实际贡献度与对应的理论贡献度，对图像分类初始模型进行效果校验。本申请通过图像子区域分析可高效实现对图像分类模型的合理性校验。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理装置、方法、电子设备及计算机可读存储介质。
背景技术
随着人工智能与深度神经网络模型的快速发展与应用，越来越多的领域对模型的合理性提出了更高的要求。
其中，图像处理(如图像识别分类)问题是深度神经网络模型应用的一个重要场景。为了对模型本身的合理性进行有效校验，相关技术中使用有层级相关性传播方法。该方法利用神经网络模型中的反向传播，并设计了系列的规则和限定条件。通过反向传播，将高层的相关性分值信息传播到低层直至最终的输入层，最终得到输入图像对模型输出结果的影响热力图，进而可对模型本身进行评判和校验。但是，该方法由于采用的是反向传播的基本思想，其相关性计算过程均采用全局计算，因而计算量较大，无法针对图像中的特定子区域单独进行计算与分析。
鉴于此，提供一种解决上述技术问题的方案，已经是本领域技术人员所亟需关注的。
发明内容
本申请的目的在于提供一种图像处理装置、方法、电子设备及计算机可读存储介质，以便有效获取目标图像子区域对模型输出结果的实际贡献值大小，进而高效地实现对模型合理性的校验，提高图像处理质量和效率。
为解决上述技术问题，第一方面，本申请公开了一种图像处理装置，包括：
图像输入模块，用于将原始图像数据输入至图像分类初始模型进行图像分类；
蒙版确定模块，用于获取所述图像分类初始模型中的各个非线性层对所述原始图像数据的计算输出状态，并根据所述计算输出状态确定各所述非线性层的计算蒙版；所述计算输出状态包括通过或置零；
模板替换模块，用于将所述图像分类初始模型中的各所述非线性层分别替换为对应的所述计算蒙版，以生成图像区域分析模型；
区域分析模块，用于将所述原始图像数据中在目标图像子区域外的数据进行置零处理，以生成区域分析图像数据，并将所述区域分析图像数据输入至所述图像区域分析模型中，以获取所述目标图像子区域对目标图像类别的实际贡献度；
模型校验模块，用于将所述实际贡献度与对应预设的理论贡献度进行比较，以便对所述图像分类初始模型进行效果校验。
可选地，所述图像输入模块还用于：在所述将原始图像数据输入至图像分类初始模型进行图像分类之后，获取所述原始图像数据对所述目标图像类别的实际总贡献度；
所述区域分析模块还用于：在所述获取所述目标图像子区域对目标图像类别的实际贡献度之后，计算所述实际贡献度与所述实际总贡献度的比值，作为所述目标图像子区域对所述目标图像类别的实际相对贡献度。
可选地，所述蒙版确定模块具体用于：
若所述计算输出状态为通过，则将所述计算蒙版中对应的布尔值置为TRUE；
若所述计算输出状态为置零，则将所述计算蒙版中对应的布尔值置为FALSE。
可选地，所述图像分类初始模型基于神经网络模型训练生成。
可选地，所述非线性层包括线性整流层或最大池化层。
可选地，所述蒙版确定模块包括：
功能设置单元，用于在所述图像输入模块将原始图像数据输入至图像分类初始模型进行图像分类之前，确定所述图像分类初始模型中的各个所述非线性层，在各个所述非线性层中设置用于获取所述计算输出状态的状态判别功能函数。
第二方面，本申请还公开了一种图像处理方法，包括：
将原始图像数据输入至图像分类初始模型进行图像分类；
获取所述图像分类初始模型中的各个非线性层对所述原始图像数据的计算输出状态，并根据所述计算输出状态确定各所述非线性层的计算蒙版；所述计算输出状态包括通过或置零；
将所述图像分类初始模型中的各所述非线性层分别替换为对应的所述计算蒙版，以生成图像区域分析模型；
将所述原始图像数据中在目标图像子区域外的数据进行置零处理，以生成区域分析图像数据，并将所述区域分析图像数据输入至所述图像区域分析模型中，以获取所述目标图像子区域对目标图像类别的实际贡献度；
将所述实际贡献度与对应预设的理论贡献度进行比较，以便对所述图像分类初始模型进行效果校验。
可选地，在所述将原始图像数据输入至图像分类初始模型进行图像分类之后，还包括：
获取所述原始图像数据对所述目标图像类别的实际总贡献度；
在所述获取所述目标图像子区域对目标图像类别的实际贡献度之后，还包括：
计算所述实际贡献度与所述实际总贡献度的比值，作为所述目标图像子区域对所述目标图像类别的实际相对贡献度。
可选地，所述根据所述计算输出状态确定各所述非线性层的计算蒙版，包括：
若所述计算输出状态为通过，则将所述计算蒙版中对应的布尔值置为TRUE；
若所述计算输出状态为置零，则将所述计算蒙版中对应的布尔值置为FALSE。
可选地，所述图像分类初始模型基于神经网络模型训练生成。
可选地，所述非线性层包括线性整流层或最大池化层。
可选地，在所述将原始图像数据输入至图像分类初始模型进行图像分类之前，还包括：
确定所述图像分类初始模型中的各个所述非线性层；
在各个所述非线性层中设置用于获取所述计算输出状态的状态判别功能函数。
第三方面，本申请还公开了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上所述的任一种图像处理方法的步骤。
第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种图像处理方法的步骤。
本申请所提供的图像处理装置包括：图像输入模块，用于将原始图像数据输入至图像分类初始模型进行图像分类；蒙版确定模块，用于获取所述图像分类初始模型中的各个非线性层对所述原始图像数据的计算输出状态，并根据所述计算输出状态确定各所述非线性层的计算蒙版；所述计算输出状态包括通过或置零；模板替换模块，用于将所述图像分类初始模型中的各所述非线性层分别替换为对应的所述计算蒙版，以生成图像区域分析模型；区域分析模块，用于将所述原始图像数据中在目标图像子区域外的数据进行置零处理，以生成区域分析图像数据，并将所述区域分析图像数据输入至所述图像区域分析模型中，以获取所述目标图像子区域对目标图像类别的实际贡献度；模型校验模块，用于将所述实际贡献度与对应预设的理论贡献度进行比较，以便对所述图像分类初始模型进行效果校验。
可见，本申请将图像分类初始模型的各个非线性层替换为根据计算输出状态而确定的计算蒙版，进而在将目标图像子区域之外的数据置零之后利用替换后的模型进行图像分类，可有效获取到目标图像子区域对模型输出结果的实际贡献值大小，以便高效地实现对模型合理性的校验，提高图像处理质量和效率。本申请所提供的图像处理方法、电子设备及计算机可读存储介质同样具有上述有益效果。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
图1为本申请实施例公开的一种图像处理装置的结构框图；
图2为本申请实施例提供的一种未替换计算蒙版的效果示意图；
图3为本申请实施例提供的一种替换计算蒙版的效果示意图；
图4为本申请实施例提供的一种目标图像子区域的实际贡献度表征示意图；
图5为本申请实施例公开的一种图像处理方法的流程图；
图6为本申请实施例公开的一种电子设备的结构框图。
具体实施方式
本申请的核心在于提供一种图像处理装置、方法、电子设备及计算机可读存储介质，以便有效获取目标图像子区域对模型输出结果的实际贡献值大小，进而高效地实现对模型合理性的校验，提高图像处理质量和效率。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
当前，随着人工智能与深度神经网络模型的快速发展与应用，越来越多的领域对模型的合理性提出了更高的要求。
其中，图像处理(如图像识别分类)问题是深度神经网络模型应用的一个重要场景。为了对模型本身的合理性进行有效校验，相关技术中使用有层级相关性传播方法。该方法利用神经网络模型中的反向传播，并设计了系列的规则和限定条件。通过反向传播，将高层的相关性分值信息传播到低层直至最终的输入层，最终得到输入图像对模型输出结果的影响热力图，进而可对模型本身进行评判和校验。但是，该方法由于采用的是反向传播的基本思想，其相关性计算过程均采用全局计算，因而计算量较大，无法针对图像中的特定子区域单独进行计算与分析。鉴于此，本申请提供了一种图像处理方案，可有效解决上述问题。
参见图1所示，本申请实施例公开了一种图像处理装置，主要包括：
图像输入模块101，用于将原始图像数据输入至图像分类初始模型进行图像分类；
蒙版确定模块102，用于获取图像分类初始模型中的各个非线性层对原始图像数据的计算输出状态，并根据计算输出状态确定各非线性层的计算蒙版；计算输出状态包括通过或置零；
模板替换模块103，用于将图像分类初始模型中的各非线性层分别替换为对应的计算蒙版，以生成图像区域分析模型；
区域分析模块104，用于将原始图像数据中在目标图像子区域外的数据进行置零处理，以生成区域分析图像数据，并将区域分析图像数据输入至图像区域分析模型中，以获取目标图像子区域对目标图像类别的实际贡献度；
模型校验模块105，用于将实际贡献度与对应预设的理论贡献度进行比较，以便对图像分类初始模型进行效果校验。
具体地，本申请实施例所提供的图像处理装置可用于进行图像识别分类，例如，可具体将同一类物品的图像识别为一类图像，将不同类物品的图像分别识别为不同类图像。
其中，图像分类初始模型即为基于深度学习等技术训练生成的、用于对图像进行识别分类的模型。当图像输入模块101将原始图像数据输入到图像分类初始模型中后，便可得到原始图像的分类识别结果。作为一种具体实施例，该图像分类初始模型可具体基于神经网络模型训练生成。
一般地，图像分类初始模型可具有多个隐含层。每个隐含层所进行的变换可分为线性变换或者非线性变换。进一步地，非线性层可具体包括线性整流层(Rectified LinearUnit，ReLU)或最大池化层(Max Pooling)。线性层可具体包括卷积层(Convolutionallayer，Conv)和批量归一化层(Batch Normalization，BN)。
本申请实施例在利用图像分类初始模型对原始图像数据进行图像分类之后，还会进一步针对目标图像子区域对模型输出结果的贡献值进行区域分析，以便进一步对图像分类初始模型的分类识别效果进行校验。
具体地，在计算目标图像子区域对模型输出结果的贡献值时，一方面需要对原始图像数据进行处理，以获取区域分析图像数据：即，仅保留目标图像子区域内的图像数据，而将目标图像子区域之外的数据均置零。
另一方面，还需要对图像分类初始模型进行处理，以获取图像区域分析模型。具体地，由于区域分析图像数据中在目标图像子区域外的数据已经置零，因此，这些数据在被图像分类初始模型中的线性层处理后将不会产生对应的影响结果，但是，这些数据在被图像分类初始模型中的非线性层处理后将会产生非零的影响数值，从而会对目标图像子区域的贡献值计算产生干扰。由此，本申请实施例具体通过对图像分类初始模型中的非线性层进行蒙版处理，以获取图像区域分析模型。
其中，“蒙版”是图像处理领域中的一个术语，用来指选框的外部区域(选框的内部就是选区)。蒙板是对所选区域(选框内部)进行保护，让其免于操作，而对非掩盖的地方(选框外部)应用操作。
如此，本申请实施例根据图像分类初始模型对原始图像数据的计算输出状态，为各个非线性层确定对应的计算蒙版。进而通过将各个非线性层替换为计算蒙版，可将避免选区之外的数据的干扰。
将区域分析图像数据输入至图像区域分析模型中再次进行图像分类，可从中获取目标图像子区域对目标图像类别的实际贡献度。其中，还需要说明的是，一般的，图像分类识别的结果通常以多维向量的形式表示，该多维向量的每个维度的元素具体对应一个图像类别的识别结果。在获取目标图像子区域对目标图像类别的实际贡献度时，可具体获取模型中全连接层输出结果中对应维度的元素。
请参考图2和图3，图2为本申请实施例提供的一种未替换计算蒙版的效果示意图；图3为本申请实施例提供的一种替换计算蒙版的效果示意图。
具体地，在图2中，以某个ReLU层为例，原始图像数据中的某四个输入值为[0.92 -0.21 0.33 -0.17]，根据ReLU层的作用原理，正数将被通过，而负数将被置零，由此对应得到的输出为[0.92 0 0.33 0]。区域分析图像数据中的某四个输入值为[-0.1 0.52 -0.37-0.08]，由于依然是采用ReLU层，所以对应得到的输出为[0 0.52 0 0]。
图3中采用了本申请所提供的技术方案，在对区域分析图像数据进行分析时便将ReLU层替换为对应的计算蒙版。此时，对于区域分析图像数据中的四个输入值为[-0.10.52 -0.37 -0.08]，根据计算蒙版得到的输出结果是[-0.1 0 -0.37 0]。
请参考图4，图4为本申请实施例提供的一种目标图像子区域的实际贡献度表征示意图。
图4中，根据对原始图像数据的图像分类识别结果，该图像与图像类别1、图像类别2、图像类别3的识别结果值分别为0.23、1.94、-0.18。而根据对区域分析图像数据的图像分类识别结果可知，与图像类别1、图像类别2、图像类别3对应的识别结果值分别为0.89、1.08、0.08。
在获取了目标图像子区域对目标图像类别的实际贡献度后，便可以利用模型校验模块105，将实际贡献度与已知的理论贡献度进行比较，对图像分类初始模型的分类识别效果进行校验：若两者相差较大，则说明该图像分类初始模型较为合理；相反，若两者相差较大，则说明该图像分类初始模型存在一定的不合理性，甚至可进一步推知该图像分类初始模型的训练数据有误，由此，可有助于及时进行模型的修调和更改。
可见，本申请实施例所公开的图像处理装置，将图像分类初始模型的各个非线性层替换为根据计算输出状态而确定的计算蒙版，进而在将目标图像子区域之外的数据置零之后利用替换后的模型进行图像分类，可有效获取到目标图像子区域对模型输出结果的实际贡献值大小，以便高效地实现对模型合理性的校验，提高图像处理质量和效率。
作为一种具体实施例，本申请实施例所公开的图像处理装置在上述内容的基础上，图像输入模块101还用于：在将原始图像数据输入至图像分类初始模型进行图像分类之后，获取原始图像数据对目标图像类别的实际总贡献度；
区域分析模块104还用于：在获取目标图像子区域对目标图像类别的实际贡献度之后，计算实际贡献度与实际总贡献度的比值，作为目标图像子区域对目标图像类别的实际相对贡献度。
具体地，本实施例中提供了实际相对贡献度的定义：假设用Sc(xoriginal)表示原始图像数据对目标图像类别c的实际总贡献度；用Sc(xROI)表示目标图像子区域ROI对目标图像类别c的实际贡献度，则，目标图像子区域ROI对目标图像类别c的实际相对贡献度Rc,ROI可表示为：
例如，以图4为例，以图4中的类别2为目标图像类别，则目标图像子区域ROI对目标图像类别c的实际相对贡献度Rc,ROI具体为：
进一步地，本实施例中，模型校验模块105还可用于将实际相对贡献度与对应预设的理论相对贡献度进行比较，以便进一步对图像分类初始模型进行效果校验。
作为一种具体实施例，本申请实施例所公开的图像处理装置在上述内容的基础上，蒙版确定模块102具体用于：
若计算输出状态为通过，则将计算蒙版中对应的布尔值置为TRUE；
若计算输出状态为置零，则将计算蒙版中对应的布尔值置为FALSE。
具体地，计算蒙版中的每个元素为布尔值向量，为TRUE(真)时数据被允许通过当前的非线性层；为FALSE(假)时数据将被遮盖，即不被允许通过当前的非线性层。
作为一种具体实施例，本申请实施例所公开的图像处理装置在上述内容的基础上，蒙版确定模块102包括：
功能设置单元，用于在图像输入模块101将原始图像数据输入至图像分类初始模型进行图像分类之前，确定图像分类初始模型中的各个非线性层，在各个非线性层中设置用于获取计算输出状态的状态判别功能函数。
具体地，本实施例中可利用功能设置单元预先确定出各个非线性层，具体可进行标记，然后对被标记的非线性层设置状态判别功能函数，以获取当前非线性层的计算输出状态。
进一步地，对于多个非线性层，可预先创建计算蒙版列表，在计算蒙版列表中添加空白计算蒙版。在获取到各个非线性层的计算输出状态后，可依据计算状态，填写对应的空白计算蒙版。
参见图5所示，本申请实施例公开了一种图像处理方法，主要包括：
S201：将原始图像数据输入至图像分类初始模型进行图像分类。
S202：获取图像分类初始模型中的各个非线性层对原始图像数据的计算输出状态。
S203：根据计算输出状态确定各非线性层的计算蒙版；计算输出状态包括通过或置零。
S204：将图像分类初始模型中的各非线性层分别替换为对应的计算蒙版，以生成图像区域分析模型。
S205：将原始图像数据中在目标图像子区域外的数据进行置零处理，以生成区域分析图像数据。
S206：将区域分析图像数据输入至图像区域分析模型中，以获取目标图像子区域对目标图像类别的实际贡献度。
S207：将实际贡献度与对应预设的理论贡献度进行比较，以便对图像分类初始模型进行效果校验。
可见，本申请所提供的图像处理方法，将图像分类初始模型的各个非线性层替换为根据计算输出状态而确定的计算蒙版，进而在将目标图像子区域之外的数据置零之后利用替换后的模型进行图像分类，可有效获取到目标图像子区域对模型输出结果的实际贡献值大小，以便高效地实现对模型合理性的校验，提高图像处理质量和效率。
作为一种具体实施例，本申请实施例所提供的图像处理方法在上述内容的基础上，在将原始图像数据输入至图像分类初始模型进行图像分类之后，还包括：
获取原始图像数据对目标图像类别的实际总贡献度；
在获取目标图像子区域对目标图像类别的实际贡献度之后，还包括：
计算实际贡献度与实际总贡献度的比值，作为目标图像子区域对目标图像类别的实际相对贡献度。
作为一种具体实施例，本申请实施例所提供的图像处理方法在上述内容的基础上，根据计算输出状态确定各非线性层的计算蒙版，包括：
若计算输出状态为通过，则将计算蒙版中对应的布尔值置为TRUE；
若计算输出状态为置零，则将计算蒙版中对应的布尔值置为FALSE。
作为一种具体实施例，本申请实施例所提供的图像处理方法在上述内容的基础上，图像分类初始模型基于神经网络模型训练生成。
作为一种具体实施例，本申请实施例所提供的图像处理方法在上述内容的基础上，非线性层包括线性整流层或最大池化层。
作为一种具体实施例，本申请实施例所提供的图像处理方法在上述内容的基础上，在将原始图像数据输入至图像分类初始模型进行图像分类之前，还包括：
确定图像分类初始模型中的各个非线性层；
在各个非线性层中设置用于获取计算输出状态的状态判别功能函数。
关于上述图像处理方法的具体内容，可参考前述关于图像处理装置的详细介绍，这里就不再赘述。
参见图6所示，本申请实施例公开了一种电子设备，包括：
存储器301，用于存储计算机程序；
处理器302，用于执行所述计算机程序以实现如上所述的任一种图像处理方法的步骤。
进一步地，本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种图像处理方法的步骤。
关于上述电子设备和计算机可读存储介质的具体内容，可参考前述关于图像处理方法的详细介绍，这里就不再赘述。
本申请中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需说明的是，在本申请文件中，诸如“第一”和“第二”之类的关系术语，仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。
Claims (10)
1.一种图像处理装置，其特征在于，包括：
图像输入模块，用于将原始图像数据输入至图像分类初始模型进行图像分类；
蒙版确定模块，用于获取所述图像分类初始模型中的各个非线性层对所述原始图像数据的计算输出状态，并根据所述计算输出状态确定各所述非线性层的计算蒙版；所述计算输出状态包括通过或置零；
模板替换模块，用于将所述图像分类初始模型中的各所述非线性层分别替换为对应的所述计算蒙版，以生成图像区域分析模型；
区域分析模块，用于将所述原始图像数据中在目标图像子区域外的数据进行置零处理，以生成区域分析图像数据，并将所述区域分析图像数据输入至所述图像区域分析模型中，以获取所述目标图像子区域对目标图像类别的实际贡献度；
模型校验模块，用于将所述实际贡献度与对应预设的理论贡献度进行比较，以便对所述图像分类初始模型进行效果校验。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像输入模块还用于：在所述将原始图像数据输入至图像分类初始模型进行图像分类之后，获取所述原始图像数据对所述目标图像类别的实际总贡献度；
所述区域分析模块还用于：在所述获取所述目标图像子区域对目标图像类别的实际贡献度之后，计算所述实际贡献度与所述实际总贡献度的比值，作为所述目标图像子区域对所述目标图像类别的实际相对贡献度。
3.根据权利要求1所述的图像处理装置，其特征在于，所述蒙版确定模块具体用于：
若所述计算输出状态为通过，则将所述计算蒙版中对应的布尔值置为TRUE；
若所述计算输出状态为置零，则将所述计算蒙版中对应的布尔值置为FALSE。
4.根据权利要求1所述的图像处理装置，其特征在于，所述图像分类初始模型基于神经网络模型训练生成。
5.根据权利要求4所述的图像处理装置，其特征在于，所述非线性层包括线性整流层或最大池化层。
6.根据权利要求1至5任一项所述的图像处理装置，其特征在于，所述蒙版确定模块包括：
功能设置单元，用于在所述图像输入模块将原始图像数据输入至图像分类初始模型进行图像分类之前，确定所述图像分类初始模型中的各个所述非线性层，在各个所述非线性层中设置用于获取所述计算输出状态的状态判别功能函数。
7.一种图像处理方法，其特征在于，包括：
将原始图像数据输入至图像分类初始模型进行图像分类；
获取所述图像分类初始模型中的各个非线性层对所述原始图像数据的计算输出状态，并根据所述计算输出状态确定各所述非线性层的计算蒙版；所述计算输出状态包括通过或置零；
将所述图像分类初始模型中的各所述非线性层分别替换为对应的所述计算蒙版，以生成图像区域分析模型；
将所述原始图像数据中在目标图像子区域外的数据进行置零处理，以生成区域分析图像数据，并将所述区域分析图像数据输入至所述图像区域分析模型中，以获取所述目标图像子区域对目标图像类别的实际贡献度；
将所述实际贡献度与对应预设的理论贡献度进行比较，以便对所述图像分类初始模型进行效果校验。
8.根据权利要求7所述的图像处理方法，其特征在于，在所述将原始图像数据输入至图像分类初始模型进行图像分类之后，还包括：
获取所述原始图像数据对所述目标图像类别的实际总贡献度；
在所述获取所述目标图像子区域对目标图像类别的实际贡献度之后，还包括：
计算所述实际贡献度与所述实际总贡献度的比值，作为所述目标图像子区域对所述目标图像类别的实际相对贡献度。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求7或8所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求7或8所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010606010.5A CN111753915B (zh) | 2020-06-29 | 2020-06-29 | 一种图像处理装置、方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010606010.5A CN111753915B (zh) | 2020-06-29 | 2020-06-29 | 一种图像处理装置、方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753915A true CN111753915A (zh) | 2020-10-09 |
| CN111753915B CN111753915B (zh) | 2023-11-07 |
Family
ID=72677997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010606010.5A Active CN111753915B (zh) | 2020-06-29 | 2020-06-29 | 一种图像处理装置、方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753915B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159778A (zh) * | 2020-12-24 | 2021-07-23 | 西安四叶草信息技术有限公司 | 一种金融欺诈的检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009111921A (ja) * | 2007-10-31 | 2009-05-21 | Toshiba Corp | 画像処理装置及び画像処理方法 |
| CN110334722A (zh) * | 2019-03-29 | 2019-10-15 | 上海联影智能医疗科技有限公司 | 图像分类方法、装置、计算机设备和存储介质 |
| WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN111223041A (zh) * | 2020-01-12 | 2020-06-02 | 大连理工大学 | 一种全自动自然图像抠图方法 |
-
2020
- 2020-06-29 CN CN202010606010.5A patent/CN111753915B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009111921A (ja) * | 2007-10-31 | 2009-05-21 | Toshiba Corp | 画像処理装置及び画像処理方法 |
| WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN110334722A (zh) * | 2019-03-29 | 2019-10-15 | 上海联影智能医疗科技有限公司 | 图像分类方法、装置、计算机设备和存储介质 |
| CN111223041A (zh) * | 2020-01-12 | 2020-06-02 | 大连理工大学 | 一种全自动自然图像抠图方法 |
Non-Patent Citations (2)
| Title |
|---|
| 朱明;刘真;杨丹丹;: "一种基于非线性蒙版技术的HDR图像阶调压缩算法", 中国印刷与包装研究, no. 1 * |
| 程皓楠;王凯;刘世光;: "颜色风格自适应的图像克隆算法", 图学学报, no. 05 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159778A (zh) * | 2020-12-24 | 2021-07-23 | 西安四叶草信息技术有限公司 | 一种金融欺诈的检测方法及装置 |
| CN113159778B (zh) * | 2020-12-24 | 2023-11-24 | 西安四叶草信息技术有限公司 | 一种金融欺诈的检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753915B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | A feature-reduction multi-view k-means clustering algorithm | |
| CN104573729B (zh) | 一种基于核主成分分析网络的图像分类方法 | |
| CN108492298B (zh) | 基于生成对抗网络的多光谱图像变化检测方法 | |
| CN113360701B (zh) | 一种基于知识蒸馏的素描图处理方法及其*** | |
| CN113272827A (zh) | 卷积神经网络中分类决策的验证 | |
| CN112418351B (zh) | 基于全局与局部上下文感知的零样本学习图像分类方法 | |
| CN111428733A (zh) | 基于语义特征空间转换的零样本目标检测方法及*** | |
| CN106709997B (zh) | 基于深度神经网络和稀疏自编码器的三维关键点检测方法 | |
| CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
| CN113870254B (zh) | 目标对象的检测方法、装置、电子设备及存储介质 | |
| CN113283599B (zh) | 基于神经元激活率的对抗攻击防御方法 | |
| CN112132014A (zh) | 基于非督导金字塔相似性学习的目标重识别方法及*** | |
| CN111860577A (zh) | 识别不伤害人类的人类的人工智能伦理方法和机器人 | |
| CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN111259823A (zh) | 一种基于卷积神经网络的色情图像识别方法 | |
| CN107301643A (zh) | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 | |
| CN115861715A (zh) | 基于知识表示增强的图像目标关系识别算法 | |
| CN112966685A (zh) | 用于场景文本识别的攻击网络训练方法、装置及相关设备 | |
| CN116416334A (zh) | 一种基于原型的嵌入网络的场景图生成方法 | |
| CN111753915B (zh) | 一种图像处理装置、方法、设备及介质 | |
| CN111786999B (zh) | 一种入侵行为的检测方法、装置、设备和存储介质 | |
| CN111126617B (zh) | 一种选择融合模型权重参数的方法、装置及设备 | |
| CN116597275A (zh) | 一种基于数据增强的高速移动目标识别方法 | |
| CN115953584A (zh) | 一种具有可学习稀疏性的端到端目标检测方法及*** | |
| CN111275189A (zh) | 一种网络表示学习方法、***及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |