CN111402275A - 镂空检测方法、***、设备及存储介质 - Google Patents

镂空检测方法、***、设备及存储介质 Download PDF

Info

Publication number
CN111402275A
CN111402275A CN202010345499.5A CN202010345499A CN111402275A CN 111402275 A CN111402275 A CN 111402275A CN 202010345499 A CN202010345499 A CN 202010345499A CN 111402275 A CN111402275 A CN 111402275A
Authority
CN
China
Prior art keywords
image
hollow
detection model
information
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010345499.5A
Other languages
English (en)
Inventor
刘君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010345499.5A priority Critical patent/CN111402275A/zh
Publication of CN111402275A publication Critical patent/CN111402275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种镂空检测方法、***、设备及存储介质，涉及人工智能技术领域。所述方法包括：获取图像；将图像切分为n个图像块，n为正整数；基于镂空检测模型，获取与n个图像块分别相对应的n条镂空信息，镂空信息用于指示图像块是否存在镂空现象。本申请实施例通过将图像切分为n个图像块，并将上述n个图像块分别输入镂空检测模型中，从而实现检测该n个图像块是否存在镂空现象。本申请实施例提出的技术方案无需人工干预，能够自动对图像的不同区域进行镂空检测，筛选出存在镂空现象的图像块，可以节省大量的人力和时间，镂空检测效率高。

Description

镂空检测方法、***、设备及存储介质
技术领域
本申请实施例涉及人工智能技术领域，特别涉及一种镂空检测方法、***、设备及存储介质。
背景技术
随着终端技术的发展，终端推出了人像模式，人像模式是指将背景部分做虚化处理，突出人像部分的模式。终端通过图像处理算法实现人像模式。
由于图像处理算法技术的限制，有时候图像中会存在本该被虚化的区域没有被虚化，而不该被虚化的区域被虚化的现象，也即图像中存在镂空现象。因此，技术人员需要分析图像中的镂空现象，并以此为基础针对性的改进图像处理算法。在相关技术中，技术人员首先将图像放大，然后逐个区域地去搜索检测放大图像中的镂空区域。当发现存在镂空区域时将其手工标注出来。
然而，上述相关技术中的镂空检测方法需要耗费大量的人力和时间，检测效率低。
发明内容
本申请实施例提供一种镂空检测方法、***、设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供一种镂空检测方法，所述方法包括：
获取图像；
将所述图像切分为n个图像块，所述n为正整数；
基于镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息，所述镂空信息用于指示图像块是否存在镂空现象。
另一方面，本申请实施例提供一种镂空检测***，所述***包括：
图像获取模块，用于获取图像；
图像切分模块，用于将所述图像切分为n个图像块，所述n为正整数；
镂空检测模块，用于基于镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息，所述镂空信息用于指示图像块是否存在镂空现象。
另一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述方面所述的镂空检测方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的镂空检测方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过将图像切分为n个图像块，并将上述n个图像块分别输入镂空检测模型中，从而实现检测该n个图像块是否存在镂空现象。本申请实施例提出的技术方案无需人工干预，能够自动对图像的不同区域进行镂空检测，筛选出存在镂空现象的图像块，可以节省大量的人力和时间，镂空检测效率高。
附图说明
图1是本申请一个实施例提供的镂空检测方法的流程图；
图2是本申请另一个实施例提供的镂空检测方法的流程图；
图3是本申请一个实施例提供的镂空检测模型的训练方法的流程图；
图4是本申请一个实施例提供的Inception V3神经网络的结构示意图；
图5是本申请一个实施例提供的镂空检测方法的流程示意图；
图6是本申请一个实施例提供的镂空检测***的示意图；
图7是本申请另一个实施例提供的镂空检测***的示意图；
图8是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例的执行主体可以是计算机设备，计算机设备是指具备计算和处理能力的电子设备。在一个示例中，计算机设备可以是终端，例如，终端可以是PC(PersonalComputer，个人计算机)、平板电脑或其他电子设备。示例性地，终端上可以设置有CPU(Central Processing Unit，中央处理器)和AI(Artificial Intelligence，人工智能)芯片，AI芯片也可以称之为AI加速器或计算卡，是专门用于处理人工智能应用中的大量计算任务的芯片。可选地，AI芯片包括NPU(Neural-network Processing Unit，嵌入式神经网络处理器)。示例性地，CPU获取图像后，将该图像发送给AI芯片，由AI芯片对该图像进行切分，并将切分得到的n个图像块分别输入镂空检测模型中，从而检测上述n个图像块是否存在镂空现象。在另一个示例中，计算机设备也可以是服务器，服务器可以是一台服务器或者是服务器集群。在可能的实现方式中，计算机设备设置有显示屏，该显示屏可以用于显示存在镂空现象的图像块。
请参考图1，其示出了本申请一个实施例提供的镂空检测方法的流程图。该方法可以由计算机设备执行，该方法可以包括如下几个步骤。
步骤101，获取图像。
图像可以是任意一个图像。可选地，图像是通过背景虚化模式拍摄出来的。可选地，背景虚化模式包括人像模式，因此图像可以是通过人像模式拍摄出来的。终端一般通过图像处理算法实现人像模式。在可能的实现方式中，终端设置有主摄像头和/或副摄像头，通过主摄像头或副摄像头来获取景深，通过景深来实现虚化的渐变性，最终达到背景虚化的效果。在可能的实现方式中，终端仅设置有一个摄像头，终端通过对人像区域进行图像分割而实现强化对焦主体、虚化背景的效果。
然而，由于场景的复杂性和/或图像处理算法的限制，通过背景虚化模式拍摄出来的图像常出现镂空现象，即在前景边缘附近的背景应该被虚化却没有被虚化的现象，这种情况会极大影响拍摄得到的图像的质量效果，因此需要检测图像中的镂空现象，并基于此改进图像处理算法。
步骤102，将图像切分为n个图像块，n为正整数。
可选地，n个图像块的尺寸大小一致。在可能的实现方式中，将图像平均切分为n个图像块。可选地，图像块可以呈方形、圆形、圆角矩形或其他形状，本申请实施例不作限定。
n的大小可以用技术人员设置，例如，技术人员可以根据镂空检测任务的效率和精度设置n的大小，例如，通过将n设置成较大数值，从而将图像切分为较小的图像块来提高镂空检测任务的准确度；又例如，通过将n设置成较小数值，从而提高镂空检测任务的效率。n的大小也可以是默认大小。
步骤103，基于镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息。
镂空检测模型是指用于检测图像块中是否存在镂空现象的模型。镂空检测模型可以采用深度神经网络，镂空检测模型的输入为图像块，输出为该图像块对应的镂空信息。
在本申请实施例中，镂空信息用于指示图像块是否存在镂空现象。示例性地，镂空信息可以用数值表示，例如，0指示图像块存在镂空现象，1指示图像块不存在镂空现象。
在可能的实现方式中，将一个图像块输入镂空检测模型中，得到该图像块对应的镂空信息，重复执行该步骤，直至得到n个图像块各自对应的镂空信息。
在可能的实现方式中，将n个图像块输入n个镂空识别模型中，得到n个图像块各自对应的镂空信息，一个图像块对应一个镂空识别模型。
综上所述，本申请实施例提供的技术方案中，通过将图像切分为n个图像块，并将上述n个图像块分别输入镂空检测模型中，从而实现检测该n个图像块是否存在镂空现象。本申请实施例提出的技术方案无需人工干预，能够自动对图像的不同区域进行镂空检测，筛选出存在镂空现象的图像块，可以节省大量的人力和时间，镂空检测效率高。
另外，由于本申请实施例提供的技术方案是基于镂空识别模型进行镂空检测，是基于AI技术进行镂空检测，因此即便在复杂场景下拍摄的图像中，本申请也能精准的筛选出小尺寸或不太明显的镂空区域。
请参考图2，其示出了本申请另一个实施例提供的镂空检测方法的流程图。该方法可以由计算机设备执行，该方法可以包括如下几个步骤。
步骤201，获取图像。
有关步骤201的介绍说明可参见上文实施例，此处不再赘述。
步骤202，对图像进行预处理，得到预处理后的图像。
镂空检测模型对输入的图像有要求，通过对图像进行预处理，从而使得预处理后的所述图像满足镂空检测模型的输入要求。可选地，根据镂空检测模型的网络特性对图像进行预处理，预处理包括以下至少一项：尺度缩放、色彩处理、数据增强等。
步骤203，根据图像的识别结果，将预处理后的图像切分为n个图像块。
在可能的实现方式中，对图像进行图像识别，得到该图像的识别结果，图像的识别结果用于指示该图像包括的对象，例如，图像中可以包括一个或多个对象，例如，人物、动物、建筑、风景、食物等。计算机设备根据图像的识别结果，进行后续的图像切分。
可选地，计算机设备通过如下方式对图像进行切分：以预设步长遍历预处理后的图像，将预处理后的图像切分为n个与识别结果相对应的图像块，每个图像块具有与识别结果相关联的指定尺寸。
示例性地，不同的识别结果对应的图像块的切分尺寸不同。例如，识别结果“狗”对应的图像块的目标尺寸可以大于识别结果“人”对应的图像块的目标尺寸，因为一般狗在图像中所占的区域面积小于人在图像中所占的区域面积。根据图像的识别结果合理切分图像块，有利于兼顾镂空检测任务的效率和准确度。
步骤204，基于识别结果对应的镂空检测模型，获取与n个图像块分别相对应的n条镂空信息。
在可能的实现方式中，不同识别结果对应的镂空检测模型不同。因此，计算机设备需要根据图像的识别结果，将图像块输入上述识别结果对应的镂空检测模型中，从而才能得到较为准确的镂空信息。
在可能的实现方式中，可以只执行步骤203或者只执行步骤204，或者步骤203和步骤204都执行。例如，计算机设备根据图像的识别结果，将预处理后的图像切分为n个图像块；基于镂空检测模型，获取该n个图像块分别相对应的n条镂空信息。又例如，计算机设备将图像切分为n个图像块；基于图像的识别结果对应的镂空检测模型，获取与该n个图像块分别相对应的n条镂空信息。
步骤205，响应于目标图像块对应的镂空信息指示目标图像块存在镂空现象，在可视化界面中以第一方式显示目标图像块。
可选地，计算机设备将n个图像块各自的镂空信息和位置信息进行汇总，对目标图像块进行可视化标注。
步骤206，响应于目标图像块对应的镂空信息指示目标图像块不存在镂空现象，在可视化界面中以第二方式显示目标图像块。
第二方式不同于第一方式。例如，当目标图像块对应的镂空信息指示目标图像块存在镂空现象时，将该目标图像块的边缘区域用红色方框显示；当目标图像块对应的镂空信息指示目标图像块不存在镂空现象时，仍然以原方式显示该目标图像块。
步骤207，根据存在镂空现象的目标图像块的个数，确定图像的镂空率。
镂空率用于表征图像的镂空严重程度，镂空率越大，表明镂空越严重；镂空率越小，表明镂空越不严重。
示例性地，根据目标图像块的个数和n的比值，确定图像的镂空率。假设存在镂空现象的目标图像块的个数为3，n为5，则图像的镂空率为(3/5)＝0.6。
步骤208，根据图像的镂空率和目标图像块的位置信息，生成图像的检测报告。
在本申请实施例中，位置信息用于指示目标图像块在图像中的位置图像的检测报告中包括图像的镂空率和图像中包括的存在镂空现象的目标图像块的位置信息，可选地，检测报告中还包括存在镂空现象的图像块总数。技术人员可以根据该检测报告对图像处理算法进行调整，从而优化图像处理算法。
在可能的实现方式中，计算机设备从图像目录中获取图像，图像目录中包括至少一个图像；将图像切分为n个图像块；将n个图像块分别输入镂空检测模型中，得到n个图像块各自对应的镂空信息；生成图像目录的检测报告，图像目录的检测报告包括至少一个图像各自的镂空率，以及至少一个图像各自包括的目标图像块的位置信息，目标图像块的镂空信息指示目标图像块存在镂空现象，目标图像块的位置信息用于指示目标图像块在图像中的位置。
技术人员可以将需要进行镂空检测的所有图像都放入一个图像目录中，从而使得计算机设备自动从该图像目录中获取图像进行镂空检测，计算机设备遍历该图像目录，生成该图像目录的检测报告。当然，在可能的实现方式中，图像目录还可以根据识别结果进行划分，将识别结果一致的图像放入同一个图像目录中，从而能得到更有针对性的检测报告，例如，将识别结果“人”的图像放入同一个图像目录中，从而得到针对“人”的检测报告；将识别结果“狗”的图像放入同一个图像目录中，从而得到针对“狗”的检测报告。
将图像进行汇总到一个图像目录中，从而得到汇总后的检测报告，不需要分别打开每个图像的检测报告，便于观看。
综上所述，本申请实施例提供的技术方案中，提出了一种基于AI技术的镂空检测方法，无需人工筛查或干预，能够自动对图像的不同区域进行细致而全面的分析评估，筛选出存在镂空现象的区域，进而将它们以易于分辨的形式标注出来，加以统计分析后最终输出镂空严重程度。
另外，相较于相关技术中的人工镂空检测方式，本申请能够对图像进行全面而细致评估，并给出量化的结果报告。
另外，本申请实施例提供的技术方案可应用于自动化的智能测评***，实现有效的评估双摄或是人像模式下Bokeh算法背景虚化的处理能力。同时，本申请实施例提供的技术方案也可用于自动化的调试***中，该调试***可以实现闭环调试，针对Bokeh算法模块进行自动化的调优来确保在镂空方面取得最优的效果。
在通过镂空检测模型对图像块进行镂空检测之前，需要先对镂空检测模型进行训练。请参考图3，其示出了本申请一个实施例提供的镂空检测模型的训练方法的流程图。该方法可以由计算机设备执行，该方法可以包括如下几个步骤：
步骤301，获取镂空检测模型的训练数据。
在本申请实施例中，训练数据包括至少一个训练样本和训练样本对应的标准镂空信息。标准镂空信息用于指示训练样本是否真实存在镂空现象。
可选地，训练样本为人像图片。计算机设备获取大量的人像，其中存在镂空现象的人像和不存在镂空现象的人像各占一半左右。在可能的实现方式中，通过从拍摄得到的人像中截取存在镂空现象的区域，得到存在镂空现象的人像；通过非人像模式拍摄得到不存在镂空现象的人像。将上述人像分类为存在镂空现象的人像(负样本)和不存在镂空现象的人像(正样本)的集合，然后从中按照一定比例分割成训练数据、验证数据和测试数据三部分，其中，训练数据的数据量占比最大。
根据镂空检测任务的特点兼顾计算量和性能，搭建适合的神经网络(镂空检测模型)。可选地，镂空检测模型采用Inception V3神经网络(共47层)，基于Tensorflow 1.10而创建。如图4所示，其示出了本申请一个实施例提供的Inception V3神经网络的结构示意图。Inception V3神经网络包括第一分解卷积模块41、第二分解卷积模块42、第三分解卷积模块43、辅助分类器44、有效的特征网格大小缩减45。其中，第一分解卷积模块41是将大卷积分解成小卷积，第二分解卷积模块42是分解为非对称卷积，第三分解卷积模块43是分解为非对称卷积，辅助分类器44的作用是用作正则化器，有效的特征网格大小缩减45可以有效减少计算量和参数。第一分解卷积模块41中包括卷积、平均池化和级联运算，第二分解卷积模块42中包括卷积、平均池化和级联运算，第三分解卷积模块43中包括卷积、级联和平均池化运算，辅助分类器44中包括平均池化、卷积、全连接和归一化运算，有效的特征网格大小缩减45中包括卷积、最大池化和级联运算。卷积运算是指根据模板对原图像进行处理，得到新图像的运算，平均池化运算是指将图像区域中的平均值作为该区域池化后的值的运算，最大池化运算是指将图像区域中的最大值作为该区域池化后的值的运算，级联运算是指将两个单元连接在一起的运算，全连接运算是指将一个特征空间变换到另一个特征空间的运算，归一化运算是指将有量纲的表达式经过变换化为无量纲的表达式的运算。
步骤302，通过镂空检测模型对训练样本进行处理，得到训练样本对应的预测镂空信息。
预测镂空信息用于指示预测训练样本是否存在镂空现象。可选地，镂空检测模块提取训练样本的特征信息，根据特征信息确定训练样本的预测镂空信息。
可选地，在通过镂空检测模型对训练样本进行处理之前，根据镂空检测模型的网络特性对训练样本进行预处理，得到预处理后的训练样本，通过镂空检测模型对预处理后的训练样本进行处理，预处理包括以下至少一项：尺度缩放、色彩处理、数据增强等。
步骤303，根据标准镂空信息和预测镂空信息，得到镂空检测模型的损失函数。
可选地，镂空检测模型的损失函数为交叉熵损失函数。计算机设备根据标准镂空信息和预测镂空信息，计算得到交叉熵损失函数。
步骤304，根据损失函数对镂空检测模型进行训练。
步骤305，通过验证数据对训练后的镂空检测模型进行评估，得到评估结果。
步骤305和步骤304可以同步进行，评估结果可以是镂空检测模型的精度，计算机设备基于验证数据不断的对训练后的镂空检测模型的精度进行计算。
步骤306，响应于评估结果满足停止训练条件，停止对镂空检测模型的训练，得到训练完成的镂空检测模型。
停止训练条件可以是镂空检测模型的精度为预设精度，当镂空检测模型的精度达到预设精度时，停止对镂空检测模型的训练，得到训练完成的镂空检测模型。
可选地，响应于评估结果不满足停止训练条件，继续从步骤301开始执行，直至评估结果满足停止训练。
步骤307，通过测试数据对完成训练的镂空检测模型进行测试，得到测试结果。
在模型训练和评估结束后，会输出训练完成的镂空检测模型。在此基础上，用测试数据对镂空检测模型的实际效果进行测试，得到测试结果。
步骤308，响应于测试结果不满足预设条件，再次从获取镂空检测模型的训练数据的步骤开始执行，直至测试结果满足预设条件。
如果测试结果不满足预设条件，则再次从获取镂空检测模型的训练数据的步骤开始执行，并重新开始训练流程。
可选地，响应于测试结果满足预设条件，退出训练流程，输出上述完成训练的镂空检测模型。
请参考图5，其示出了本申请一个实施例提供的镂空检测方法的流程示意图。镂空检测方法的流程可以分为模型训练和镂空识别两个阶段。模型训练阶段如左侧示意图所示：技术人员进行大量的图像拍摄，从而实现数据集的构建，计算机设备进行神经网络的构建；对图像进行预处理；将预处理后的图像输入镂空识别模型，进行模型训练；模型训练的同时进行模型验证；判断模型验证的结果是否满足要求，若模型验证的结果满足要求，则进行模型测试；若模型验证的结果不满足要求，则继续进行模型训练和模型验证；判断模型测试的结果是否满足要求，若模型测试的结果满足要求，则进行模型输出；若模型测试的结果不满足要求，则再次从图像拍摄开始执行。镂空检测阶段如右侧示意图所示：技术人员进行图像拍摄；对拍摄到的图像进行图像预处理；然后将预处理后的图像进行图像分割，切分为至少一个图像块；对上述至少一个图像块进行镂空识别；判断图像块是否遍历完毕，若遍历完毕，则进行镂空标注、统计评估和报告输出；若未遍历完毕，则再次从镂空识别的步骤开始执行。
下述为本申请***实施例，可以用于执行本申请方法实施例。对于本申请***实施例中未披露的细节，请参照本申请方法实施例。
请参考图6，其示出了本申请一个实施例提供的镂空检测***的示意图。该***具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。所述***600包括：图像获取模块610、图像切分模块620和镂空检测模块630。
图像获取模块610，用于获取图像。
图像切分模块620，用于将图像切分为n个图像块，n为正整数。
镂空检测模块630，用于基于镂空检测模型，获取与n个图像块分别相对应的n条镂空信息，镂空信息用于指示图像块是否存在镂空现象。
镂空检测模块630用于基于已训练好的神经网络模型(镂空识别模型)，对每个送进来的图像块进行分析处理，并评估里面的镂空情况。
综上所述，本申请实施例提供的技术方案中，通过将图像切分为n个图像块，并将上述n个图像块分别输入镂空检测模型中，从而实现检测该n个图像块是否存在镂空现象。本申请实施例提出的技术方案无需人工干预，能够自动对图像的不同区域进行镂空检测，筛选出存在镂空现象的图像块，可以节省大量的人力和时间，镂空检测效率高。
可选地，图像切分模块620，用于对图像进行预处理，得到预处理后的图像，预处理后的图像满足镂空检测模型的输入要求；根据图像的识别结果，将预处理后的图像切分为n个图像块，图像的识别结果用于指示图像包括的对象；
和/或，
镂空检测模块630，用于基于识别结果对应的镂空检测模型，获取与n个图像块分别相对应的n条镂空信息。
可选地，图像切分模块620，用于：
以预设步长遍历预处理后的图像，将预处理后的图像切分为n个与识别结果相对应的图像块，每个图像块具有与识别结果相关联的指定尺寸。
图像切分模块620用于对整幅图像先进行预处理，然后按场景内容(识别结果)进行切分，以便于后续的遍历与镂空识别。
可选地，如图7所示，***600还包括：可视化模块640。
可视化模块640，用于：
响应于目标图像块对应的镂空信息指示目标图像块存在镂空现象，在可视化界面中以第一方式显示目标图像块；
响应于目标图像块对应的镂空信息指示目标图像块不存在镂空现象，在可视化界面中以第二方式显示目标图像块，第二方式不同于第一方式。
可视化模块640用于对检测出的镂空区域进行标注与可视化处理。
可选地，***600还包括：分析统计模块650。
分析统计模块650，用于：
根据存在镂空现象的目标图像块的个数，确定图像的镂空率；
根据图像的镂空率和目标图像块的位置信息，生成图像的检测报告，位置信息用于指示目标图像块在图像中的位置。
分析统计模块650用于对整幅图像的已检测出镂空情况进行统计分析，并给出最终的评估报告(检测报告)。
可选地，图像获取模块610，用于从图像目录中获取图像，图像目录中包括至少一个图像。
可选地，镂空检测模块630，还用于：
获取镂空检测模型的训练数据，训练数据包括至少一个训练样本和训练样本对应的标准镂空信息；
通过镂空检测模型对训练样本进行处理，得到训练样本对应的预测镂空信息；
根据标准镂空信息和预测镂空信息，得到镂空检测模型的损失函数；以及，
根据损失函数对镂空检测模型进行训练。
可选地，镂空检测模块630，还用于：
通过验证数据对训练后的镂空检测模型进行评估，得到评估结果；
响应于评估结果满足停止训练条件，停止对镂空检测模型的训练，得到训练完成的镂空检测模型；
通过测试数据对完成训练的镂空检测模型进行测试，得到测试结果；
响应于测试结果不满足预设条件，再次从获取镂空检测模型的训练数据的步骤开始执行，直至测试结果满足预设条件。
本申请实施例提供的***基于AI深度学习技术而实现，以模块化的方式构建，如图7所示，将图像目录、训练好的模型路径和执行信息输入镂空检测***，从而输出可视化识别结果图像、存在镂空现象的图像块总数和镂空率。其中，执行信息包括以下至少一项：识别尺寸、镂空阈值等，识别尺寸用于指示图像块的尺寸，镂空阈值用于表征存在镂空现象的阈值。
需要说明的是，上述实施例提供的***在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的***与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图8，其示出了本申请一个实施例提供的计算机设备的结构框图。
本申请实施例中的计算机设备可以包括一个或多个如下部件：处理器810和存储器820。
处理器810可以包括一个或者多个处理核心。处理器810利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器820内的指令、程序、代码集或指令集，以及调用存储在存储器820内的数据，执行计算机设备的各种功能和处理数据。可选地，处理器810可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器810中，单独通过一块芯片进行实现。
可选地，处理器810执行存储器820中的程序指令时实现上述各个方法实施例提供的方法。
存储器820可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器820包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据计算机设备的使用所创建的数据等。
上述计算机设备的结构仅是示意性的，在实际实现时，计算机设备可以包括更多或更少的组件，比如：显示屏等，本实施例对此不作限定。
本领域技术人员可以理解，图8中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由计算机设备的处理器加载并执行以实现上述镂空检测方法实施例中的各个步骤。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述镂空检测方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种镂空检测方法，其特征在于，所述方法包括：
获取图像；
将所述图像切分为n个图像块，所述n为正整数；
基于镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息，所述镂空信息用于指示图像块是否存在镂空现象。
2.根据权利要求1所述的方法，其特征在于，所述将所述图像切分为n个图像块，包括：
对所述图像进行预处理，得到预处理后的所述图像，预处理后的所述图像满足所述镂空检测模型的输入要求；
根据所述图像的识别结果，将预处理后的所述图像切分为所述n个图像块，所述图像的识别结果用于指示所述图像包括的对象；和/或，
所述基于镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息，包括：
基于所述识别结果对应的镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图像的识别结果，将预处理后的所述图像切分为所述n个图像块，包括：
以预设步长遍历预处理后的所述图像，将预处理后的所述图像切分为n个与所述识别结果相对应的图像块，每个所述图像块具有与所述识别结果相关联的指定尺寸。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于目标图像块对应的镂空信息指示所述目标图像块存在镂空现象，在可视化界面中以第一方式显示所述目标图像块；
响应于所述目标图像块对应的镂空信息指示所述目标图像块不存在镂空现象，在所述可视化界面中以第二方式显示所述目标图像块，所述第二方式不同于所述第一方式。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据存在镂空现象的所述目标图像块的个数，确定所述图像的镂空率；
根据所述图像的镂空率和所述目标图像块的位置信息，生成所述图像的检测报告，所述位置信息用于指示所述目标图像块在所述图像中的位置。
6.根据权利要求1所述的方法，其特征在于，所述获取图像，包括：
从图像目录中获取所述图像，所述图像目录中包括至少一个所述图像。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息之前，还包括：
获取所述镂空检测模型的训练数据，所述训练数据包括至少一个训练样本和所述训练样本对应的标准镂空信息；
通过所述镂空检测模型对所述训练样本进行处理，得到所述训练样本对应的预测镂空信息；
根据所述标准镂空信息和所述预测镂空信息，得到所述镂空检测模型的损失函数；以及，
根据所述损失函数对所述镂空检测模型进行训练。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过验证数据对训练后的所述镂空检测模型进行评估，得到评估结果；
响应于所述评估结果满足停止训练条件，停止对所述镂空检测模型的训练，得到训练完成的所述镂空检测模型；
通过测试数据对完成训练的所述镂空检测模型进行测试，得到测试结果；
响应于所述测试结果不满足预设条件，再次从所述获取所述镂空检测模型的训练数据的步骤开始执行，直至所述测试结果满足所述预设条件。
9.一种镂空检测***，其特征在于，所述***包括：
图像获取模块，用于获取图像；
图像切分模块，用于将所述图像切分为n个图像块，所述n为正整数；
镂空检测模块，用于基于镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息，所述镂空信息用于指示图像块是否存在镂空现象。
10.根据权利要求9所述的***，其特征在于，
所述图像切分模块，用于对所述图像进行预处理，得到预处理后的所述图像，预处理后的所述图像满足所述镂空检测模型的输入要求；根据所述图像的识别结果，将预处理后的所述图像切分为所述n个图像块，所述图像的识别结果用于指示所述图像包括的对象；
和/或，
所述镂空检测模块，用于基于所述识别结果对应的镂空检测模型，获取与所述n个图像块分别相对应的n条镂空信息。
11.根据权利要求10所述的***，其特征在于，所述图像切分模块，用于：
以预设步长遍历预处理后的所述图像，将预处理后的所述图像切分为n个与所述识别结果相对应的图像块，每个所述图像块具有与所述识别结果相关联的指定尺寸。
12.根据权利要求9所述的***，其特征在于，所述***还包括：
可视化模块，用于：
响应于目标图像块对应的镂空信息指示所述目标图像块存在镂空现象，在可视化界面中以第一方式显示所述目标图像块；
响应于所述目标图像块对应的镂空信息指示所述目标图像块不存在镂空现象，在所述可视化界面中以第二方式显示所述目标图像块，所述第二方式不同于所述第一方式。
13.根据权利要求12所述的***，其特征在于，所述***还包括：
分析统计模块，用于：
根据存在镂空现象的所述目标图像块的个数，确定所述图像的镂空率；
根据所述图像的镂空率和所述目标图像块的位置信息，生成所述图像的检测报告，所述位置信息用于指示所述目标图像块在所述图像中的位置。
14.根据权利要求9所述的***，其特征在于，
所述图像获取模块，用于从图像目录中获取所述图像，所述图像目录中包括至少一个所述图像。
15.根据权利要求9至14任一项所述的***，其特征在于，所述镂空检测模块，还用于：
获取所述镂空检测模型的训练数据，所述训练数据包括至少一个训练样本和所述训练样本对应的标准镂空信息；
通过所述镂空检测模型对所述训练样本进行处理，得到所述训练样本对应的预测镂空信息；
根据所述标准镂空信息和所述预测镂空信息，得到所述镂空检测模型的损失函数；以及，
根据所述损失函数对所述镂空检测模型进行训练。
16.根据权利要求15所述的***，其特征在于，所述镂空检测模块，还用于：
通过验证数据对训练后的所述镂空检测模型进行评估，得到评估结果；
响应于所述评估结果满足停止训练条件，停止对所述镂空检测模型的训练，得到训练完成的所述镂空检测模型；
通过测试数据对完成训练的所述镂空检测模型进行测试，得到测试结果；
响应于所述测试结果不满足预设条件，再次从所述获取所述镂空检测模型的训练数据的步骤开始执行，直至所述测试结果满足所述预设条件。
17.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至8任一项所述的镂空检测方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至8任一项所述的镂空检测方法。
CN202010345499.5A 2020-04-27 2020-04-27 镂空检测方法、***、设备及存储介质 Pending CN111402275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010345499.5A CN111402275A (zh) 2020-04-27 2020-04-27 镂空检测方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010345499.5A CN111402275A (zh) 2020-04-27 2020-04-27 镂空检测方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111402275A true CN111402275A (zh) 2020-07-10

Family

ID=71431757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010345499.5A Pending CN111402275A (zh) 2020-04-27 2020-04-27 镂空检测方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111402275A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187248A (zh) * 2021-12-01 2022-03-15 胜斗士(上海)科技技术发展有限公司 食品品质检测方法及装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399370A (zh) * 2018-02-02 2018-08-14 达闼科技（北京）有限公司 表情识别的方法及云***
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109886928A (zh) * 2019-01-24 2019-06-14 平安科技（深圳）有限公司 一种目标细胞标记方法、装置、存储介质及终端设备
CN110390666A (zh) * 2019-06-14 2019-10-29 平安科技（深圳）有限公司 道路损伤检测方法、装置、计算机设备及存储介质
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399370A (zh) * 2018-02-02 2018-08-14 达闼科技（北京）有限公司 表情识别的方法及云***
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109886928A (zh) * 2019-01-24 2019-06-14 平安科技（深圳）有限公司 一种目标细胞标记方法、装置、存储介质及终端设备
CN110390666A (zh) * 2019-06-14 2019-10-29 平安科技（深圳）有限公司 道路损伤检测方法、装置、计算机设备及存储介质
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187248A (zh) * 2021-12-01 2022-03-15 胜斗士(上海)科技技术发展有限公司 食品品质检测方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN108154105B (zh) 水下生物检测与识别方法、装置、服务器及终端设备
CN108717524B (zh) 一种基于双摄手机和人工智能***的手势识别***
US20230085605A1 (en) Face image processing method, apparatus, device, and storage medium
CN111709265A (zh) 基于注意力机制残差网络的摄像监控状态分类方法
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣***
CN110930296B (zh) 图像处理方法、装置、设备及存储介质
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN111935479B (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
CN106203461B (zh) 一种图像处理方法及装置
CN109472193A (zh) 人脸检测方法及装置
CN111709421A (zh) 鸟类识别方法、装置、计算机设备及存储介质
CN115424171A (zh) 火焰和烟雾检测方法、装置和存储介质
CN112036384A (zh) ***头部形态识别方法、装置及设备
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
CN111833347A (zh) 一种输电线路防振锤缺陷检测方法及相关装置
CN113439227A (zh) 放大图像的捕获和存储
CN111402275A (zh) 镂空检测方法、***、设备及存储介质
CN112560880A (zh) 目标分类方法、目标分类装置及计算机可读存储介质
CN117351472A (zh) 烟叶信息检测方法、装置及电子设备
CN111951260A (zh) 基于部分特征融合卷积神经网络实时目标计数***及方法
CN112883762A (zh) 一种活体检测方法、装置、***及存储介质
CN113870210A (zh) 一种图像质量评估方法、装置、设备及存储介质
CN109543565B (zh) 一种数量确定方法及装置
CN113989684A (zh) 一种机巡缺陷图片图像标注定级方法及缺陷定级***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination