CN111353330A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111353330A
CN111353330A CN201811564402.9A CN201811564402A CN111353330A CN 111353330 A CN111353330 A CN 111353330A CN 201811564402 A CN201811564402 A CN 201811564402A CN 111353330 A CN111353330 A CN 111353330A
Authority
CN
China
Prior art keywords
image
pixel
category
classification
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811564402.9A
Other languages
English (en)
Inventor
申世伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reach Best Technology Co Ltd
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Priority to CN201811564402.9A priority Critical patent/CN111353330A/zh
Publication of CN111353330A publication Critical patent/CN111353330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像处理方法、装置、电子设备及存储介质,属于图像处理技术领域。所述方法包括:对图像进行分类,得到所述图像的类别;当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;对所述图像中的所述目标区域进行遮挡处理。本公开无需用户参与,即可自动实现对图像的遮挡处理,避免了操作繁琐的问题,提高了图像处理的智能性。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着互联网的发展,越来越多的用户在网络上发布视频或图片,这些视频或图片中可能会出现一些不合时宜的内容,在网络监管过程中往往需要对这些视频或图片进行处理后,再展示给其他用户观看。
相关技术中,一般是监控人员通过观察用户上传的视频或图片,如果发现该视频或图片包含不合时宜的内容,则认为该视频或图片需要进行遮挡处理,然后通过电子设备上安装的编辑软件,在该图片或该视频的某帧图像上画出需要遮挡的区域。对于图片,电子设备在获取到该区域后,可以对该图片中的该区域进行遮挡;对于视频,电子设备在获取到该区域后,可以通过视频追踪算法,在该视频的多帧图像中自动追踪该区域对应的物体,并对其所在区域进行遮挡,如打上马赛克。
上述技术通过与用户进行交互来实现图像处理,需要用户判断图像是否需要进行遮挡处理,并在图像中画出需要遮挡的区域,操作繁琐,智能性差。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质,能够克服操作繁琐,智能性差的问题。
根据本公开实施例的第一方面,提供一种图像处理方法,包括:
对图像进行分类,得到所述图像的类别;
当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
对所述图像中的所述目标区域进行遮挡处理。
在一种可能实现方式中,所述对图像进行分类,得到所述图像的类别,包括:
将所述图像输入图像分类模型,输出所述图像的多个类别以及每个类别的分类概率;
相应地,所述当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,包括:
当所述多个类别中的目标类别包含在所述预设类别集合内,且所述目标类别的分类概率大于概率阈值时,确定所述图像中像素权重大于预设阈值的目标区域,所述目标类别为所述多个类别中分类概率最大的类别。
在一种可能实现方式中,所述确定所述图像中像素权重大于预设阈值的目标区域,包括:
基于所述图像分类模型,获取所述图像的多个特征图,所述多个特征图为所述图像分类模型的卷积层输出的特征图;
根据所述目标类别的分类概率、所述多个特征图中每个特征图的像素的像素值以及所述每个特征图的像素个数,获取所述图像中每个像素的像素权重;
根据所述图像中每个像素的像素权重,确定所述图像中的各个目标像素,所述各个目标像素的像素权重大于所述预设阈值;
根据所述图像中的所述各个目标像素,确定所述目标区域,所述目标区域包含所述各个目标像素。
在一种可能实现方式中,所述根据所述目标类别的分类概率、所述多个特征图中每个特征图的像素的像素值以及所述每个特征图的像素个数,获取所述图像中每个像素的像素权重,包括:
根据所述目标类别的分类概率、所述多个特征图中每个特征图的像素的像素值以及所述每个特征图的像素个数,获取所述多个特征图中每个特征图对所述目标类别的权重;
根据所述多个特征图和所述每个特征图对所述目标类别的权重,对所述多个特征图进行加权处理,得到加权后的特征图;
对所述加权后的特征图进行尺寸调整,得到与所述图像的尺寸相同的热力图;
对所述热力图进行规范化处理,规范化后的热力图中每个像素的像素值表示所述图像中对应位置处的像素的像素权重。
在一种可能实现方式中,所述对图像进行分类,得到所述图像的类别之前,所述方法还包括:
获取第一训练数据集合,所述第一训练数据集合包括所述预设类别集合中每个类别对应的多个第一样本图像;
基于所述第一训练数据集合进行训练,得到图像分类模型。
在一种可能实现方式中,所述第一训练数据集合还包括除所述预设类别集合以外的类别以及对应的多个样本图像。
在一种可能实现方式中,所述基于所述第一训练数据集合进行训练,得到所述图像分类模型,包括:
基于所述第一训练数据集合进行训练,得到第一图像分类模型;
当所述第一图像分类模型的分类准确度小于准确度阈值时,获取第二训练数据集合,所述第二训练数据集合包括多个第二样本图像以及每个第二样本图像的类别;
基于所述第二训练数据集合和所述第一训练数据集合进行训练,得到第二图像分类模型;
当所述第二图像分类模型的分类准确度小于所述准确度阈值时,继续获取训练数据集合,并基于已获取的各个训练数据集合进行训练,直至训练得到的图像分类模型的分类准确度等于或大于所述准确度阈值。
在一种可能实现方式中,所述方法还包括:
对视频进行图像采样,得到所述视频的多帧图像;
对所述多帧图像中的每帧图像,执行分类、确定目标区域以及遮挡处理的步骤。
根据本公开实施例的第二方面,提供一种图像处理装置,包括:
分类模块,被配置为执行对图像进行分类,得到所述图像的类别;
确定模块,被配置为执行当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
处理模块,被配置为执行对所述图像中的所述目标区域进行遮挡处理。
在一种可能实现方式中,所述分类模块被配置为执行:
将所述图像输入图像分类模型,输出所述图像的多个类别以及每个类别的分类概率;
相应地,所述当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,包括:
当所述多个类别中的目标类别包含在所述预设类别集合内,且所述目标类别的分类概率大于概率阈值时,确定所述图像中像素权重大于预设阈值的目标区域,所述目标类别为所述多个类别中分类概率最大的类别。
在一种可能实现方式中,所述确定模块被配置为执行:
基于所述图像分类模型,获取所述图像的多个特征图,所述多个特征图为所述图像分类模型的卷积层输出的特征图;
根据所述目标类别的分类概率、所述多个特征图中每个特征图的像素的像素值以及所述每个特征图的像素个数,获取所述图像中每个像素的像素权重;
根据所述图像中每个像素的像素权重,确定所述图像中的各个目标像素,所述各个目标像素的像素权重大于所述预设阈值;
根据所述图像中的所述各个目标像素,确定所述目标区域,所述目标区域包含所述各个目标像素。
在一种可能实现方式中,所述确定模块被配置为执行:
根据所述目标类别的分类概率、所述多个特征图中每个特征图的像素的像素值以及所述每个特征图的像素个数,获取所述多个特征图中每个特征图对所述目标类别的权重;
根据所述多个特征图和所述每个特征图对所述目标类别的权重,对所述多个特征图进行加权处理,得到加权后的特征图;
对所述加权后的特征图进行尺寸调整,得到与所述图像的尺寸相同的热力图;
对所述热力图进行规范化处理,规范化后的热力图中每个像素的像素值表示所述图像中对应位置处的像素的像素权重。
在一种可能实现方式中,所述装置还包括:
获取模块,被配置为执行获取第一训练数据集合,所述第一训练数据集合包括所述预设类别集合中每个类别对应的多个第一样本图像;
训练模块,被配置为执行基于所述第一训练数据集合进行训练,得到图像分类模型。
在一种可能实现方式中,所述第一训练数据集合还包括除所述预设类别集合以外的类别以及对应的多个样本图像。
在一种可能实现方式中,所述训练模块被配置为执行:
基于所述第一训练数据集合进行训练,得到第一图像分类模型;
当所述第一图像分类模型的分类准确度小于准确度阈值时,获取第二训练数据集合,所述第二训练数据集合包括多个第二样本图像以及每个第二样本图像的类别;
基于所述第二训练数据集合和所述第一训练数据集合进行训练,得到第二图像分类模型;
当所述第二图像分类模型的分类准确度小于所述准确度阈值时,继续获取训练数据集合,并基于已获取的各个训练数据集合进行训练,直至训练得到的图像分类模型的分类准确度等于或大于所述准确度阈值。
在一种可能实现方式中,所述装置还包括:
采样模块,被配置为执行对视频进行图像采样,得到所述视频的多帧图像;
所述分类模块还被配置为对所述多帧图像中的每帧图像,执行分类的步骤;
所述确定模块还被配置为对所述每帧图像,执行确定目标区域的步骤;
所述处理模块还被配置为对所述每帧图像,执行遮挡处理的步骤。
根据本公开实施例的第三方面,提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
对图像进行分类,得到所述图像的类别;
当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
对所述图像中的所述目标区域进行遮挡处理。
根据本公开实施例的第四方面,提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行一种图像处理方法,所述方法包括:
对图像进行分类,得到所述图像的类别;
当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
对所述图像中的所述目标区域进行遮挡处理。
根据本公开实施例的第五方面,提供了一种应用程序产品,当所述应用程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行一种图像处理方法,所述方法包括:
对图像进行分类,得到所述图像的类别;
当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
对所述图像中的所述目标区域进行遮挡处理。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过对图像进行分类,如果分类得到的类别包含在预设类别集合内时,则可以确定需要对图像进行遮挡,此时可以确定图像中像素权重大于预设阈值的目标区域,进而对该目标区域进行遮挡,由于像素权重越大表示像素对分类结果的贡献越大,因此将该目标区域作为图像中需要进行遮挡处理的区域可以保证遮挡处理的准确性。上述整个过程无需用户参与,即可自动实现对图像的遮挡处理,避免了操作繁琐的问题,提高了图像处理的智能性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种图像处理装置的框图。
图4是根据一示例性实施例示出的一种图像处理装置的框图。
图5是根据一示例性实施例示出的一种图像处理装置的框图。
图6是根据一示例性实施例示出的一种电子设备600的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不表示与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像处理方法的流程图,如图1所示,图像处理方法用于电子设备中,包括以下步骤:
在步骤S11中,对图像进行分类,得到该图像的类别。
在步骤S12中,当该类别包含在预设类别集合内时,确定该图像中像素权重大于预设阈值的目标区域,该像素权重用于表示该目标区域中的各个像素对该图像分类为该类别的贡献大小。
在步骤S13中,对该图像中的该目标区域进行遮挡处理。
本公开实施例提供的方法,通过对图像进行分类,如果分类得到的类别包含在预设类别集合内时,则可以确定需要对图像进行遮挡,此时可以确定图像中像素权重大于预设阈值的目标区域,进而对该目标区域进行遮挡,由于像素权重越大表示像素对分类结果的贡献越大,因此将该目标区域作为图像中需要进行遮挡处理的区域可以保证遮挡处理的准确性。上述整个过程无需用户参与,即可自动实现对图像的遮挡处理,避免了操作繁琐的问题,提高了图像处理的智能性。
在一种可能实现方式中,该对图像进行分类,得到该图像的类别,包括:
将该图像输入图像分类模型,输出该图像的多个类别以及每个类别的分类概率;
相应地,该当该类别包含在预设类别集合内时,确定该图像中像素权重大于预设阈值的目标区域,包括:
当该多个类别中的目标类别包含在该预设类别集合内,且该目标类别的分类概率大于概率阈值时,确定该图像中像素权重大于预设阈值的目标区域,该目标类别为该多个类别中分类概率最大的类别。
在一种可能实现方式中,该确定该图像中像素权重大于预设阈值的目标区域,包括:
基于该图像分类模型,获取该图像的多个特征图,该多个特征图为该图像分类模型的卷积层输出的特征图;
根据该目标类别的分类概率、该多个特征图中每个特征图的像素的像素值以及该每个特征图的像素个数,获取该图像中每个像素的像素权重;
根据该图像中每个像素的像素权重,确定该图像中的各个目标像素,该各个目标像素的像素权重大于该预设阈值;
根据该图像中的该各个目标像素,确定该目标区域,该目标区域包含该各个目标像素。
在一种可能实现方式中,该根据该目标类别的分类概率、该多个特征图中每个特征图的像素的像素值以及该每个特征图的像素个数,获取该图像中每个像素的像素权重,包括:
根据该目标类别的分类概率、该多个特征图中每个特征图的像素的像素值以及该每个特征图的像素个数,获取该多个特征图中每个特征图对该目标类别的权重;
根据该多个特征图和该每个特征图对该目标类别的权重,对该多个特征图进行加权处理,得到加权后的特征图;
对该加权后的特征图进行尺寸调整,得到与该图像的尺寸相同的热力图;
对该热力图进行规范化处理,规范化后的热力图中每个像素的像素值表示该图像中对应位置处的像素的像素权重。
在一种可能实现方式中,该对图像进行分类,得到该图像的类别之前,该方法还包括:
获取第一训练数据集合,该第一训练数据集合包括该预设类别集合中每个类别对应的多个第一样本图像;
基于该第一训练数据集合进行训练,得到图像分类模型。
在一种可能实现方式中,该第一训练数据集合还包括除该预设类别集合以外的类别以及对应的多个样本图像。
在一种可能实现方式中,该基于该第一训练数据集合进行训练,得到该图像分类模型,包括:
基于该第一训练数据集合进行训练,得到第一图像分类模型;
当该第一图像分类模型的分类准确度小于准确度阈值时,获取第二训练数据集合,该第二训练数据集合包括多个第二样本图像以及每个第二样本图像的类别;
基于该第二训练数据集合和该第一训练数据集合进行训练,得到第二图像分类模型;
当该第二图像分类模型的分类准确度小于该准确度阈值时,继续获取训练数据集合,并基于已获取的各个训练数据集合进行训练,直至训练得到的图像分类模型的分类准确度等于或大于该准确度阈值。
在一种可能实现方式中,该方法还包括:
对视频进行图像采样,得到该视频的多帧图像;
对该多帧图像中的每帧图像,执行分类、确定目标区域以及遮挡处理的步骤。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图2是根据一示例性实施例示出的一种图像处理方法的流程图,如图2所示,图像处理方法用于电子设备中,包括以下步骤:
在步骤S21中,获取图像分类模型,该图像分类模型用于根据输入的图像输出类别。
本公开实施例中,该图像分类模型可以由电子设备进行训练得到,也可以由其他设备进行训练得到后,发送给该电子设备,使得该电子设备获取到该图像分类模型。
在一种可能实现方式中,该图像分类模型的训练过程可以包括以下步骤a至步骤b:
步骤a、获取第一训练数据集合,该第一训练数据集合包括预设类别集合中每个类别对应的多个第一样本图像。
其中,该预设类别集合可以是内容共享平台(如短视频共享平台、直播平台等)需要监管的类别,例如,该预设类别集合可以包括表示敏感内容(如血腥、低俗以及其他不适合展示给用户观看的内容)的类别和表示广告的类别,如各种广告logo(标识),一种广告logo可以作为一个单独的类别。
在训练过程中,通过收集预设类别集合以及预设类别集合中每个类别对应的多个第一样本图像,将预设类别集合中每个类别对应的多个第一样本图像作为第一训练数据集合。在一种可能实现方式中,除了预设类别集合以外,该第一训练数据集合还可以包括除该预设类别集合以外的类别以及对应的多个样本图像。在训练过程中,通过增加预设类别集合以外的其他类别样本图像,使得模型可以学习到更多的类别,认识更多类别的图像,从而减小误分类的风险。
步骤b、基于该第一训练数据集合进行训练,得到该图像分类模型。
电子设备可以基于第一训练数据集合,采用预设训练算法进行模型训练,得到图像分类模型。其中,该预设训练算法可以是神经网络算法,电子设备可以基于第一训练数据集合,训练初始的神经网络模型,将训练后的神经网络模型作为图像分类模型。训练过程中,图像分类模型可以对多个类别的样本图像的分类方式进行学习,具备对图像进行分类的能力,如将图像分类为多个类别,每个类别对应一个分类概率,类别的分类概率越大表示图像为该类别的可能性越大。
例如,神经网络模型可以为VGG网络模型,相应地,训练得到的图像分类模型可以为VGG网络模型。本公开实施例对该图像分类模型的类型不做具体限定。
在一种可能实现方式中,该步骤b可以包括:基于该第一训练数据集合进行训练,得到第一图像分类模型;当该第一图像分类模型的分类准确度小于准确度阈值时,获取第二训练数据集合,该第二训练数据集合包括多个第二样本图像以及每个第二样本图像的类别;基于该第二训练数据集合和该第一训练数据集合进行训练,得到第二图像分类模型;当该第二图像分类模型的分类准确度小于该准确度阈值时,继续获取训练数据集合,并基于已获取的各个训练数据集合进行训练,直至训练得到的图像分类模型的分类准确度等于或大于该准确度阈值。
电子设备基于第一训练数据集合进行训练得到的图像分类模型记为第一图像分类模型。为了保证训练得到分类准确度较高的图像分类模型,电子设备在得到第一图像分类模型后,可以进一步确定第一图像分类模型的分类准确度,并判断分类准确度是否达到该准确度阈值。例如,该准确度阈值可以为90%,本公开实施例对准确度阈值不做具体限定。
在一种可能实现方式中,电子设备确定分类准确度的过程可以包括:获取测试数据集合,该测试数据集合可以包含多个样本图像以及对该多个样本图像标注的正确类别;对于该多个样本图像中的每个样本图像,将该样本图像输入基于第一训练数据集合训练得到的图像分类模型,输出该样本图像的类别;将图像分类模型输出正确类别的样本图像与测试数据集合中多个样本图像的数量比例确定为图像分类模型的分类准确度。
如果第一图像分类模型的分类准确度等于或大于准确度阈值,则认为第一图像分类模型可用,电子设备可以将该第一图像分类模型用于后续的图像分类过程。如果第一图像分类模型的分类准确度小于准确度阈值,则电子设备可以继续获取更多的训练数据集合,如第二训练数据集合,基于新获取的第二训练数据集合和之前获取的第一训练数据集合继续训练,得到第二图像分类模型。该第二训练数据集合的获取过程与第一训练数据集合的获取过程同理,第二图像分类模型的训练过程与第一图像分类模型的训练过程同理,不再赘述。
进一步地,考虑到第二图像分类模型的准确度可能仍然不够高,电子设备在获取到第二图像分类模型后,可以将该第二图像分类模型的准确度与准确度阈值进行比较。如果第二图像分类模型的分类准确度等于或大于准确度阈值,则认为第二图像分类模型可用,电子设备可以将该第二图像分类模型用于后续的图像分类过程。当该第二图像分类模型的分类准确度小于该准确度阈值时,电子设备可以继续获取训练数据集合,并基于已获取的各个训练数据集合进行训练,直至训练得到的图像分类模型的分类准确度等于或大于该准确度阈值。通过增加训练数据和迭代次数,可以不断获取到分类准确度更高的图像分类模型。
需要说明的是,该步骤S21为可选步骤,该步骤S21为对图像进行分类之前需要执行的步骤,并不是每次对图像进行分类时均需执行该步骤,保证在对图像进行分类时,已经获取到该图像分类模型即可,如电子设备可以预先训练得到该图像分类模型后进行存储,或预先从其他设备获取到该图像分类模型后进行存储,在需要进行图像分类时,直接应用该图像分类模型。
在步骤S22中,将图像输入该图像分类模型,输出该图像的多个类别以及每个类别的分类概率。
其中,该图像可以是任一待处理的图像,如图片或通过对视频进行图像采集得到的图像。例如,在内容共享平台监管场景下,任一用户上传图片时,电子设备可以针对该图片执行该步骤S22以及后续步骤S23和步骤S24。任一用户上传视频时,电子设备可以对该视频进行图像采样,得到该视频的多帧图像,对该多帧图像中的每帧图像,执行该步骤S22以及后续步骤S23和步骤S24。其中,电子设备可以采用预设采样方式,对视频进行图像采样,该预设采样方式可以为每隔预设时间间隔采样一次,例如,该预设时间间隔可以为1s、0.5s或0s等。该预设采样方式还可以为每隔预设帧数采样一次,例如该预设帧数可以为1帧或0帧等,本公开实施例对该预设采样方式不做具体限定。
本公开实施例中,电子设备将该图像输入图像分类模型后,该图像分类模型可以输出该图像的多个类别以及每个类别的分类概率,分类概率越大表示该图像为该类别的可能性越大。该多个类别可以是在训练该图像分类模型时所使用的类别,如步骤S21中第一训练数据集合所包含的类别。
需要说明的是,该步骤S22是对图像进行分类,得到该图像的类别的一种可能实现方式。通过图像分类模型对图像进行分类,可以得到该图像的多个类别以及每个类别的分类概率,图像分类模型的分类准确度越高,图像的分类结果越准确。
在步骤S23中,当该多个类别中的目标类别包含在该预设类别集合内,且该目标类别的分类概率大于概率阈值时,确定该图像中像素权重大于预设阈值的目标区域,该目标类别为该多个类别中分类概率最大的类别,该像素权重用于表示该目标区域中的各个像素对该图像分类为该类别的贡献大小。
本公开实施例中,电子设备通过图像分类模型,对图像进行分类得到多个类别后,可以根据该多个类别的分类概率,确定该多个类别中分类概率最大的目标类别,将该目标类别可以作为最终分类结果。
进而,电子设备可以根据该目标类别,确定是否需要对图像进行遮挡处理。由于目标类别的分类概率最大,表明该图像属于该目标类别的可能性最大,而分类概率越大,表明分类的可靠性和准确性越高,因此当该目标类别的分类概率大于概率阈值时,电子设备可以确定该图像属于该目标类别,而该目标类别又包含在预设类别集合内,表明该目标类别是需要监管的类别,因而电子设备可以确定该图像是需要进行遮挡处理的图像,为此,电子设备可以先确定出该图像中需要进行遮挡处理的目标区域,也即是,图像中对该最终分类结果影响比较大的像素所在区域,进而,电子设备可以通过后续步骤S24对该目标区域进行遮挡处理。
在一种可能实现方式中,电子设备确定该图像中的目标区域可以包括下述步骤a至步骤d:
步骤a、基于该图像分类模型,获取该图像的多个特征图,该多个特征图为该图像分类模型的卷积层输出的特征图。
电子设备可以将该图像输入图像分类模型,获取该图像分类模型的最后一个卷积层输出的多个特征图(feature_map),该多个特征图中的第k个特征图可以记为Ak。例如,该图像分类模型可以为VGG模型,该VGG模型的最后一个卷积层为“Conv5_3”,即第5个卷积block(块)中的第3个卷积层,“Conv5_3”这个卷积层可以输出多个特征图,特征图的输出维度为(7*7*512),即可以输出512个特征图,每个特征图的大小为7*7。
步骤b、根据该目标类别的分类概率、该多个特征图中每个特征图的像素的像素值以及该每个特征图的像素个数,获取该图像中每个像素的像素权重。
在一种可能实现方式中,该步骤b可以包括下述步骤b1至步骤b4:
b1、根据该目标类别的分类概率、该多个特征图中每个特征图的像素的像素值以及该每个特征图的像素个数,获取该多个特征图中每个特征图对该目标类别的权重。
其中,电子设备可以应用下述公式(1),获取每个特征图对目标类别(下面以类别c表示)的权重:
Figure BDA0001914153450000121
其中,
Figure BDA0001914153450000122
为第k个特征图对类别c的权重,k为正整数,Z为特征图的像素个数,yc是模型输出的类别c的分类概率(如softmax层输出的值),
Figure BDA0001914153450000123
为第k个特征图中(i,j)位置处的像素的像素值。
b2、根据该多个特征图和该每个特征图对该目标类别的权重,对该多个特征图进行加权处理,得到加权后的特征图。
电子设备可以通过上述公式(1)求得所有特征图对目标类别的权重,进而,电子设备可以应用下述公式(2),对它们进行加权处理,得到加权后的特征图,也称为热力图。
其中,该公式(2)可以表示为:
Figure BDA0001914153450000131
其中,
Figure BDA0001914153450000132
为针对类别c利用Grad-CAM(Gradient-Class Activation Map,梯度加权的类激活映射)算法得到的热力图,ReLU(Rectified Linear Units,修正线性单元)作为激活函数,
Figure BDA0001914153450000133
为对特征图进行加权求和。Grad-CAM算法对最终的加权求和加了一层ReLU,这样可以只关心对目标类别有正影响的那些像素,而不带入一些属于其它类别的像素,从而可以保证利用Grad-CAM算法对分类结果进行解释的效果。
b3、对该加权后的特征图进行尺寸调整,得到与图像的尺寸相同的热力图。
电子设备得到加权后的特征图后,该特征图的尺寸小于步骤S22中原始图像的尺寸,此时,电子设备可以将其调整至原始图像的尺寸,得到与原始图像相同大小的热力图,这样,热力图和原始图像中的像素可以根据位置一一对应。
b4、对该热力图进行规范化处理,规范化后的热力图中每个像素的像素值表示该图像中对应位置处的像素的像素权重。
该规范化处理的方式可以包括:对于热力图中的每个像素,将该像素的像素值减去该热力图的最小像素值后,再除以热力图的最大像素值与最小像素值之差。其中,最大像素值是指热力图中所有像素的像素值中最大的像素值,该最小像素值是指热力图中所有像素的像素值中最小的像素值。通过对热力图进行规范化处理,规范化后的热力图中像素的像素值的范围为[0,1],可以认为是一个概率图,其中的每个数值表示原始图像对应位置处的像素的像素权重,即像素对最终分类结果(目标类别)的贡献大小。
步骤c、根据该图像中每个像素的像素权重,确定该图像中的各个目标像素,该各个目标像素的像素权重大于该预设阈值。
通过上述步骤b得到图像中每个像素的像素权重后,电子设备可以根据预设阈值,找出图像中像素权重大于预设阈值的各个目标像素。例如,该预设阈值可以为0.6,本公开实施例对预设阈值不做具体限定。
步骤d、根据该图像中的该各个目标像素,确定该目标区域,该目标区域包含该各个目标像素。
电子设备可以将图像中的各个目标像素组成的区域作为目标区域,例如,电子设备可以根据图像中各个目标像素的位置,确定包含该各个目标像素的最小包围矩形,将该最小包围矩形作为该目标区域。针对预设类别集合包括表示敏感内容的类别和表示广告的类别,该目标区域可以为视频监管中的敏感区域、广告视频中的logo部分等。
需要说明的是,该步骤S23是当该类别包含在预设类别集合内时,确定该图像中像素权重大于预设阈值的目标区域的一种可能实现方式。通过在分类的基础上,判断是否需要对图像进行遮挡处理,然后寻找图像中需要进行遮挡处理的目标区域,如利用Grad-CAM算法来确定该目标区域,解决了相关技术中需要用户判断图像是否需要进行遮挡以及在图像中画出需要遮挡的区域的问题,提高了图像处理的智能性。
在步骤S24中,对该图像中的该目标区域进行遮挡处理。
本公开实施例中,电子设备在确定图像中需要进行遮挡处理的目标区域后,可以采用预设遮挡方式,对该图像中的目标区域进行遮挡处理,其中,预设遮挡方式包括但不限于在目标区域叠加不透明的遮挡块,这个遮挡块可以设置为目标颜色或马赛克形式,只要能起到遮挡作用即可。
本公开实施例提供的方法,通过对图像进行分类,如果分类得到的类别包含在预设类别集合内时,则可以确定需要对图像进行遮挡,此时可以确定图像中像素权重大于预设阈值的目标区域,进而对该目标区域进行遮挡,由于像素权重越大表示像素对分类结果的贡献越大,因此将该目标区域作为图像中需要进行遮挡处理的区域可以保证遮挡处理的准确性。上述整个过程无需用户参与,即可自动实现对图像的遮挡处理,避免了操作繁琐的问题,提高了图像处理的智能性。
图3是根据一示例性实施例示出的一种图像处理装置的框图。参照图3,该装置包括分类模块301,确定模块302和处理模块303。
该分类模块301被配置为执行对图像进行分类,得到该图像的类别;
该确定模块302被配置为执行当该类别包含在预设类别集合内时,确定该图像中像素权重大于预设阈值的目标区域,该像素权重用于表示该目标区域中的各个像素对该图像分类为该类别的贡献大小;
该处理模块303被配置为执行对该图像中的该目标区域进行遮挡处理。
在一种可能实现方式中,该分类模块301被配置为执行:
将该图像输入图像分类模型,输出该图像的多个类别以及每个类别的分类概率;
相应地,该当该类别包含在预设类别集合内时,确定该图像中像素权重大于预设阈值的目标区域,包括:
当该多个类别中的目标类别包含在该预设类别集合内,且该目标类别的分类概率大于概率阈值时,确定该图像中像素权重大于预设阈值的目标区域,该目标类别为该多个类别中分类概率最大的类别。
在一种可能实现方式中,该确定模块302被配置为执行:
基于该图像分类模型,获取该图像的多个特征图,该多个特征图为该图像分类模型的卷积层输出的特征图;
根据该目标类别的分类概率、该多个特征图中每个特征图的像素的像素值以及该每个特征图的像素个数,获取该图像中每个像素的像素权重;
根据该图像中每个像素的像素权重,确定该图像中的各个目标像素,该各个目标像素的像素权重大于该预设阈值;
根据该图像中的该各个目标像素,确定该目标区域,该目标区域包含该各个目标像素。
在一种可能实现方式中,该确定模块302被配置为执行:
根据该目标类别的分类概率、该多个特征图中每个特征图的像素的像素值以及该每个特征图的像素个数,获取该多个特征图中每个特征图对该目标类别的权重;
根据该多个特征图和该每个特征图对该目标类别的权重,对该多个特征图进行加权处理,得到加权后的特征图;
对该加权后的特征图进行尺寸调整,得到与该图像的尺寸相同的热力图;
对该热力图进行规范化处理,规范化后的热力图中每个像素的像素值表示该图像中对应位置处的像素的像素权重。
在一种可能实现方式中,参见图4,该装置还包括:
获取模块304,被配置为执行获取第一训练数据集合,该第一训练数据集合包括该预设类别集合中每个类别对应的多个第一样本图像;
训练模块305,被配置为执行基于该第一训练数据集合进行训练,得到图像分类模型。
在一种可能实现方式中,该第一训练数据集合还包括除该预设类别集合以外的类别以及对应的多个样本图像。
在一种可能实现方式中,该训练模块305被配置为执行:
基于该第一训练数据集合进行训练,得到第一图像分类模型;
当该第一图像分类模型的分类准确度小于准确度阈值时,获取第二训练数据集合,该第二训练数据集合包括多个第二样本图像以及每个第二样本图像的类别;
基于该第二训练数据集合和该第一训练数据集合进行训练,得到第二图像分类模型;
当该第二图像分类模型的分类准确度小于该准确度阈值时,继续获取训练数据集合,并基于已获取的各个训练数据集合进行训练,直至训练得到的图像分类模型的分类准确度等于或大于该准确度阈值。
在一种可能实现方式中,参见图5,该装置还包括:
采样模块306,被配置为执行对视频进行图像采样,得到该视频的多帧图像;
该分类模块301还被配置为对该多帧图像中的每帧图像,执行分类的步骤;
该确定模块302还被配置为对该每帧图像,执行确定目标区域的步骤;
该处理模块303还被配置为对该每帧图像,执行遮挡处理的步骤。
本公开实施例提供的装置,通过对图像进行分类,如果分类得到的类别包含在预设类别集合内时,则可以确定需要对图像进行遮挡,此时可以确定图像中像素权重大于预设阈值的目标区域,进而对该目标区域进行遮挡,由于像素权重越大表示像素对分类结果的贡献越大,因此将该目标区域作为图像中需要进行遮挡处理的区域可以保证遮挡处理的准确性。上述整个过程无需用户参与,即可自动实现对图像的遮挡处理,避免了操作繁琐的问题,提高了图像处理的智能性。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种电子设备600的框图,该电子设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)601和一个或一个以上的存储器602,其中,该存储器602中存储有至少一条指令,该至少一条指令由该处理器601加载并执行以实现上述各个方法实施例提供的方法。当然,该电子设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该电子设备还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种非临时性计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行一种图像处理方法,该方法包括:
对图像进行分类,得到该图像的类别;
当该类别包含在预设类别集合内时,确定该图像中像素权重大于预设阈值的目标区域,该像素权重用于表示该目标区域中的各个像素对该图像分类为该类别的贡献大小;
对该图像中的该目标区域进行遮挡处理。
例如,该非临时性计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-OnlyMemory,CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种应用程序产品,当该应用程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行一种图像处理方法,该方法包括:
对图像进行分类,得到该图像的类别;
当该类别包含在预设类别集合内时,确定该图像中像素权重大于预设阈值的目标区域,该像素权重用于表示该目标区域中的各个像素对该图像分类为该类别的贡献大小;
对该图像中的该目标区域进行遮挡处理。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
对图像进行分类,得到所述图像的类别;
当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
对所述图像中的所述目标区域进行遮挡处理。
2.根据权利要求1所述的图像处理方法,其特征在于,所述对图像进行分类,得到所述图像的类别,包括:
将所述图像输入图像分类模型,输出所述图像的多个类别以及每个类别的分类概率;
相应地,所述当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,包括:
当所述多个类别中的目标类别包含在所述预设类别集合内,且所述目标类别的分类概率大于概率阈值时,确定所述图像中像素权重大于预设阈值的目标区域,所述目标类别为所述多个类别中分类概率最大的类别。
3.根据权利要求2所述的图像处理方法,其特征在于,所述确定所述图像中像素权重大于预设阈值的目标区域,包括:
基于所述图像分类模型,获取所述图像的多个特征图,所述多个特征图为所述图像分类模型的卷积层输出的特征图;
根据所述目标类别的分类概率、所述多个特征图中每个特征图的像素的像素值以及所述每个特征图的像素个数,获取所述图像中每个像素的像素权重;
根据所述图像中每个像素的像素权重,确定所述图像中的各个目标像素,所述各个目标像素的像素权重大于所述预设阈值;
根据所述图像中的所述各个目标像素,确定所述目标区域,所述目标区域包含所述各个目标像素。
4.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述目标类别的分类概率、所述多个特征图中每个特征图的像素的像素值以及所述每个特征图的像素个数,获取所述图像中每个像素的像素权重,包括:
根据所述目标类别的分类概率、所述多个特征图中每个特征图的像素的像素值以及所述每个特征图的像素个数,获取所述多个特征图中每个特征图对所述目标类别的权重;
根据所述多个特征图和所述每个特征图对所述目标类别的权重,对所述多个特征图进行加权处理,得到加权后的特征图;
对所述加权后的特征图进行尺寸调整,得到与所述图像的尺寸相同的热力图;
对所述热力图进行规范化处理,规范化后的热力图中每个像素的像素值表示所述图像中对应位置处的像素的像素权重。
5.根据权利要求1所述的图像处理方法,其特征在于,所述对图像进行分类,得到所述图像的类别之前,所述方法还包括:
获取第一训练数据集合,所述第一训练数据集合包括所述预设类别集合中每个类别对应的多个第一样本图像;
基于所述第一训练数据集合进行训练,得到图像分类模型。
6.根据权利要求5所述的图像处理方法,其特征在于,所述第一训练数据集合还包括除所述预设类别集合以外的类别以及对应的多个样本图像。
7.根据权利要求5所述的图像处理方法,其特征在于,所述基于所述第一训练数据集合进行训练,得到所述图像分类模型,包括:
基于所述第一训练数据集合进行训练,得到第一图像分类模型;
当所述第一图像分类模型的分类准确度小于准确度阈值时,获取第二训练数据集合,所述第二训练数据集合包括多个第二样本图像以及每个第二样本图像的类别;
基于所述第二训练数据集合和所述第一训练数据集合进行训练,得到第二图像分类模型;
当所述第二图像分类模型的分类准确度小于所述准确度阈值时,继续获取训练数据集合,并基于已获取的各个训练数据集合进行训练,直至训练得到的图像分类模型的分类准确度等于或大于所述准确度阈值。
8.一种图像处理装置,其特征在于,包括:
分类模块,被配置为执行对图像进行分类,得到所述图像的类别;
确定模块,被配置为执行当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
处理模块,被配置为执行对所述图像中的所述目标区域进行遮挡处理。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
对图像进行分类,得到所述图像的类别;
当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
对所述图像中的所述目标区域进行遮挡处理。
10.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行一种图像处理方法,所述方法包括:
对图像进行分类,得到所述图像的类别;
当所述类别包含在预设类别集合内时,确定所述图像中像素权重大于预设阈值的目标区域,所述像素权重用于表示所述目标区域中的各个像素对所述图像分类为所述类别的贡献大小;
对所述图像中的所述目标区域进行遮挡处理。
CN201811564402.9A 2018-12-20 2018-12-20 图像处理方法、装置、电子设备及存储介质 Pending CN111353330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811564402.9A CN111353330A (zh) 2018-12-20 2018-12-20 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811564402.9A CN111353330A (zh) 2018-12-20 2018-12-20 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111353330A true CN111353330A (zh) 2020-06-30

Family

ID=71192050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811564402.9A Pending CN111353330A (zh) 2018-12-20 2018-12-20 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111353330A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450401A (zh) * 2021-07-19 2021-09-28 北京航空航天大学杭州创新研究院 垃圾桶满溢度确定方法、装置、设备及垃圾桶
CN115249281A (zh) * 2022-01-29 2022-10-28 北京百度网讯科技有限公司 图像遮挡和模型训练方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108899087A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于深度学习的x光片智能诊断方法
CN109040824A (zh) * 2018-08-28 2018-12-18 百度在线网络技术(北京)有限公司 视频处理方法、装置、电子设备和可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108899087A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于深度学习的x光片智能诊断方法
CN109040824A (zh) * 2018-08-28 2018-12-18 百度在线网络技术(北京)有限公司 视频处理方法、装置、电子设备和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAMPRASAATH R. SELVARAJU等: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450401A (zh) * 2021-07-19 2021-09-28 北京航空航天大学杭州创新研究院 垃圾桶满溢度确定方法、装置、设备及垃圾桶
CN115249281A (zh) * 2022-01-29 2022-10-28 北京百度网讯科技有限公司 图像遮挡和模型训练方法、装置、设备以及存储介质
CN115249281B (zh) * 2022-01-29 2023-11-24 北京百度网讯科技有限公司 图像遮挡和模型训练方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109325933B (zh) 一种翻拍图像识别方法及装置
CN111193923B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
EP3579147A1 (en) Image processing method and electronic device
US20230085605A1 (en) Face image processing method, apparatus, device, and storage medium
US20230030267A1 (en) Method and apparatus for selecting face image, device, and storage medium
WO2021179471A1 (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN111754267B (zh) 基于区块链的数据处理方法及***
US9305208B2 (en) System and method for recognizing offensive images
CN112818737B (zh) 视频识别方法、装置、存储介质及终端
CN111935479B (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
US20190294863A9 (en) Method and apparatus for face classification
CN109284673B (zh) 对象跟踪方法及装置、电子设备及存储介质
US11087140B2 (en) Information generating method and apparatus applied to terminal device
CN112135188A (zh) 视频裁剪方法、电子设备及计算机可读存储介质
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及***
US11804032B2 (en) Method and system for face detection
CN110599514B (zh) 图像分割的方法、装置、电子设备及存储介质
Hao et al. Low-light image enhancement based on retinex and saliency theories
CN111353330A (zh) 图像处理方法、装置、电子设备及存储介质
CN113743378B (zh) 一种基于视频的火情监测方法和装置
US11527091B2 (en) Analyzing apparatus, control method, and program
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
CN110019951B (zh) 一种生成视频缩略图的方法及设备
CN115798005A (zh) 基准照片的处理方法及装置、处理器和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200630