CN110009614A - 用于输出信息的方法和装置 - Google Patents

用于输出信息的方法和装置 Download PDF

Info

Publication number
CN110009614A
CN110009614A CN201910248452.4A CN201910248452A CN110009614A CN 110009614 A CN110009614 A CN 110009614A CN 201910248452 A CN201910248452 A CN 201910248452A CN 110009614 A CN110009614 A CN 110009614A
Authority
CN
China
Prior art keywords
image
detection model
defects detection
defect
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910248452.4A
Other languages
English (en)
Inventor
文亚伟
冷家冰
王铖成
苏业
刘明浩
徐玉林
郭江亮
李旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910248452.4A priority Critical patent/CN110009614A/zh
Publication of CN110009614A publication Critical patent/CN110009614A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了用于输出信息的方法和装置。该方法的一具体实施方式包括:获取待检测的物体的图像;将图像输入预先训练的缺陷检测模型,得到图像对应的缺陷类别和位置,其中,缺陷检测模型采用Faster RCNN算法;输出图像对应的缺陷类别和位置。该实施方式提高了物体外表质量检测的效率和准确性。

Description

用于输出信息的方法和装置
技术领域
本公开涉及计算机技术领域,具体涉及用于输出信息的方法和装置。
背景技术
现有工业生产线质检***中,缺陷图片的检测和定位主要依靠纯人工检查或基于特征工程的检测***。在人工质检的情况下,需要业务专家在生产现场进行巡视检查,发现缺陷之后人工记录下来再做后续处理。这种方法不仅效率低,容易漏判误判,数据很难进行二次利用挖掘,而且工业生产环境往往比较恶劣,对人员的健康和安全会造成不利影响。在基于传统专家***或特征工程的质检***中,特征和判定规则都是基于经验固化到机器中的,难以随业务的发展迭代,导致随着生产工艺的发展,***的检测精度越来越低,甚至降低到完全不可用的状态。此外,传统质检***的特征都由第三方供应商预先固化在硬件中,升级时不仅需要对生产线进行重大改造,而且价格昂贵。传统质检***在安全性、规范化、可扩展性等方面都存在着明显不足,不利于传统工业生产线的优化升级。
发明内容
本公开的实施例提出了用于输出信息的方法和装置。
第一方面,本公开的实施例提供了一种用于输出信息的方法,包括:获取待检测的物体的图像;将图像输入预先训练的缺陷检测模型,得到图像对应的缺陷类别和位置,其中,缺陷检测模型采用Faster RCNN算法;输出图像对应的缺陷类别和位置。
在一些实施例中,获取待检测的物体的图像,包括:根据以下至少一项参数获取待检测的物体的至少一个图像:角度、光线、滤镜、倍镜、聚焦。
在一些实施例中,物体为木制物体,以及缺陷类别包括以下至少一项:虫洞、开裂、崩缺、结痂。
在一些实施例中,缺陷检测模型采用SE-ResNet作为基础网络。
在一些实施例中,缺陷检测模型通过如下步骤训练得到:获取训练样本集合,训练样本包括待检测的物体的样本图像、与样本图像对应的缺陷类型和位置;将训练样本集合中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型和位置作为输出,训练得到缺陷检测模型。
在一些实施例中,缺陷检测模型,包括:特征提取层、区域推荐网络、ROI池化层、分类回归层。
在一些实施例中,缺陷检测模型的损失值包括区域推荐网络损失值、分类损失值、回归损失值。
第二方面,本公开的实施例提供了一种用于输出信息的装置,包括:获取单元,被配置成获取待检测的物体的图像;检测单元,被配置成将图像输入预先训练的缺陷检测模型,得到图像对应的缺陷类别和位置,其中,缺陷检测模型采用Faster RCNN算法;输出单元,被配置成输出图像对应的缺陷类别和位置。
在一些实施例中,获取单元进一步被配置成:根据以下至少一项参数获取待检测的物体的至少一个图像:角度、光线、滤镜、倍镜、聚焦。
在一些实施例中,物体为木制物体,以及缺陷类别包括以下至少一项:虫洞、开裂、崩缺、结痂。
在一些实施例中,缺陷检测模型采用SE-ResNet作为基础网络。
在一些实施例中,该装置还包括训练单元,被配置成:获取训练样本集合,训练样本包括待检测的物体的样本图像、与样本图像对应的缺陷类型和位置;将训练样本集合中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型和位置作为输出,训练得到缺陷检测模型。
在一些实施例中,缺陷检测模型,包括:特征提取层、区域推荐网络、ROI池化层、分类回归层。
在一些实施例中,缺陷检测模型的损失值包括区域推荐网络损失值、分类损失值、回归损失值。
第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一的方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一的方法。
本公开的实施例提供的用于输出信息的方法和装置,通过利用图像采集设备在产品生产线上实时采集的图像,实时对产品的表面质量进行检测判断,如果检测到当前经过图像采集设备的产品存在质量问题,则判断该质量问题的种类和出问题的位置。提高了物体外表质量检测的效率和准确性。并且便于统计缺陷信息从而方便后续的质量管理控制。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本申请实施例可以应用于其中的示例性***架构图;
图2是根据本申请的用于输出信息的方法的一个实施例的流程图;
图3a、3b、3c是根据本申请的用于输出信息的方法采用的缺陷检测模型的网络结构图;
图4是根据本申请的缺陷检测模型训练方法的一个实施例的流程图;
图5是根据本申请的用于输出信息的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于输出信息的方法或用于输出信息的装置的实施例的示例性***架构100。
如图1所示,***架构100可以包括待检测的物体101、摄像头1021、1022、1023,1024、服务器103。网络用以在摄像头1021、1022、1023,1024、服务器103之间提供通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
待检测的物体101可以是生产线上需要进行外表检测的产品。尤其是木制的产品,例如,木制玩具等。这些玩具的外表受限于使用的木材,可能会出现一些由木材导致的缺陷,比如虫洞,开裂,崩缺,结痂等缺陷,因此需要对木质玩具进行表面质量检测。
服务器103可包括:图像采集***、控制台、缺陷检测模型、训练引擎、控制模块、训练数据库、生产数据库、业务响应***等几个个主要模块。
图像采集***,利用高精度图像采集摄像头,调整角度、光线、滤镜、倍镜、聚焦,采集多张图像用于后续处理。
控制台将生产线上图像采集***实时产生的图片转化为检测请求,并根据线上预测模型的部署情况实时进行负载均衡和调度,将检测请求发送至最佳的搭载着预测模型的服务器上。该服务器上运行着实时缺陷检测模型,该模型已经由训练引擎训练完成。模型对于到来的检测请求中的图像数据进行预设的预处理后,进行物体检测计算,并给出代表缺陷的类别信息和缺陷的位置信息,并将结果传送至控制模块。控制模块与业务场景结合设计,能够根据业务需求,对模型给出的预测结果做出符合生产环境场景要求的响应,如报警、存储日志、控制机械臂等。控制模块会将预测结果及响应的处理行为作为线上生产日志存储到生产数据库中。***的核心-缺陷检测模型是由训练引擎根据历史标注数据训练得到的。
缺陷检测模型采用深度卷积神经网络结构,利用计算机视觉中的物体检测算法检测缺陷位置。本公开使用物体检测算法中的FasterRCNN(更快地基于区域的卷积神经网络)算法。生产线上的原始图片作为模型的输入,缺陷类别和位置作为输出。网络的结构主要是由卷积层、池化层、全连层接等组成。其中卷积操作利用权值不同的卷积核对原始图像或特征图(feature map)进行扫描卷积,从中提取各种意义的特征,并输出至特征图中。池化操作则对特征图进行降维操作,保留特征图中的主要特征。利用这种具有卷积、池化操作的深度神经网络模型,可以对生产线上照片的变形、模糊、光照变化等具有较高的鲁棒性,对于分类任务具有更高的可泛化性。
对于每一次训练好的模型可通过小流量上线的方式逐步取代正在线上运行的旧模型,以达到模型随业务动态扩展泛化的目的。
需要说明的是,本公开的实施例所提供的用于输出信息的方法一般由服务器103执行,相应地,用于输出信息的装置一般设置于服务器103中。
应该理解,图1中的待检测的物体、摄像头、服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的待检测的物体、摄像头、服务器。
继续参考图2,示出了根据本公开的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法,包括以下步骤:
步骤201,获取待检测的物体的图像。
在本实施例中,用于输出信息的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从拍摄待检测物体的摄像头获取图像。可对摄像头采集的图像进行预处理,去除背景图像后得到待检测的物体的图像。例如,通过边缘检测算法检测出物体的位置从而从摄像头拍摄的图像中抠出待检测的物体的图像。可控制摄像头调整角度,或者通过不同位置的摄像头获取物体不同的角度的图像。还可旋转待检测物体以获取多角度的图像。可选地,还可通过调整摄像头的以下至少一项参数获取待检测的物体的至少一个图像:角度、光线、滤镜、倍镜、聚焦。例如,可获取开闪光灯和不开闪光灯的图像。
步骤202,将图像输入预先训练的缺陷检测模型,得到图像对应的缺陷类别和位置。
在本实施例中,该缺陷检测模型可根据输入的图像判断出是否存在缺陷以及缺陷的类别和位置。如果物体为木制的,则缺陷类别可包括以下至少一项:虫洞、开裂、崩缺、结痂。没有缺陷也是缺陷类别中的一种。缺陷检测模型可采用Faster RCNN算法。
如图3a所示,Faster RCNN算法首先通过特征提取层提取特征图,例如利用分类模型作为基础网络,利用基础网络的卷积操作得到其特征图。然后利用RPN(Region ProposalNetwork,候选区域网络)计算原图的某一区域内是否包含特定的物体:如果包含物体再利用ROI(region of interest)池化层进行特征提取,然后通过分类回归层预测其物体类别和边界盒子(bounding box);如果不包含物体则不进行分类。这样,将三个网络分支的损失结合到一起,做组合训练,优化模型参数。当模型的输出与真实值之间的误差值小于一定阈值时,停止训练。
特征提取层的基础网络可以是AlexNet、VGG、GoogleNet、ResNet等网络。
RPN网络主要用于生成region proposals(区域推荐),首先生成一堆Anchor box(锚点盒子),对其进行裁剪过滤后通过softmax判断Anchors属于前景(foreground)或者后景(background),即“是物体”或“不是物体”,所以这是一个二分类。同时,另一分支bounding box regression(边界盒子回归)修正anchor box,形成较精确的regionproposals。
ROI Pooling(ROI池化层)层利用RPN生成的region proposals和特征提取层中最后一层得到的feature map(特征图),得到固定大小的proposal feature map(推荐特征图),进入到后面可利用全连接操作来进行目标识别和定位。
分类回归层会将ROI池化层形成固定大小的feature map进行全连接操作,利用Softmax进行具体类别的分类,同时,利用L1Loss完成bounding box regression回归操作获得物体的精确位置。
在本实施例的一些可选的实现方式中,用于提取特征图的基础网络可采用SE-ResNet(挤压激发残差网络)。在ResNet的基础上,增加了挤压(Squeeze)和激发(Excitation)操作,能够充分利用特征图不同通道之间关系。具体来说,就是通过学习的方式来自动获取到每个特征通道的重要程度,然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。图3b是本公开采用的SE-ResNet的示意图。给定一个输入x,其特征通道数为c1,通过一系列卷积等一般变换后得到一个特征通道数为c2的特征。与传统的CNN(卷积神经网络)不一样的是,接下来我们通过三个操作来重标定前面得到的特征。
首先是Squeeze操作,我们顺着空间维度来进行特征压缩,将每个二维的特征通道变成一个实数,这个实数某种程度上具有全局的感受野,并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布,而且使得靠近输入的层也可以获得全局的感受野,这一点在很多任务中都是非常有用的。
其次是Excitation操作,它是一个类似于循环神经网络中门的机制。通过参数w来为每个特征通道生成权重,其中参数w被学习用来显式地建模特征通道间的相关性。
最后是一个Reweight(重加权)的操作,我们将Excitation的输出的权重看做是进过特征选择后的每个特征通道的重要性,然后通过乘法逐通道加权到先前的特征上,完成在通道维度上的对原始特征的重标定。图3c是将SE-ResNet嵌入到ResNet中的结构实例。方框旁边的维度信息代表该层的输出。这里我们使用global pooling(全平均池化)作为Squeeze操作。紧接着两个FC(Fully Connected,全连接)层组成一个Bottleneck(瓶颈)结构去建模通道间的相关性,并输出和输入特征同样数目的权重。我们首先将特征维度降低到输入的1/16,然后经过ReLu(Rectified Linear Unit,修正线性单元)激活后再通过一个Fully Connected层升回到原来的维度。这样做比直接用一个Fully Connected层的好处在于:1)具有更多的非线性,可以更好地拟合通道间复杂的相关性;2)极大地减少了参数量和计算量。然后通过一个Sigmoid的门获得0~1之间归一化的权重,最后通过一个Scale(缩放)的操作来将归一化后的权重加权到每个通道的特征上。在上面的模块基础上,按照ResNet的总体结构进行叠加,可以得到SE-ResNet。
步骤203,输出图像对应的缺陷类别和位置。
在本实施例中,经过步骤202后,每个图像都可得到至少一个缺陷的缺陷类别和位置。将同一物体的各图像对应的缺陷类别和位置组合进行分析后,可得到该物体的缺陷信息。缺陷信息可包括缺陷类别和位置。
这里的输出可以输出到与服务器相连接的显示器中,也可通过语音提示工作人员存在有缺陷的产品。或者直接向机械手臂等用于筛选次品的装置发送缺陷信息。机械手臂可将有缺陷的物体捡出来,甚至可根据缺陷类型放入不同的回收区域。
本公开的上述实施例提供的方法通过将待检测的物体的图像输入预先训练的缺陷检测模型,得到的缺陷类别和位置。提高了物体外表质量检测的效率和准确性。并且缺陷信息可进行二次利用挖掘,提高产品的质量并降低生产成本。
进一步参考图4,其示出了根据本申请的缺陷检测模型训练方法的一个实施例的流程400。该缺陷检测模型训练方法的流程400,包括以下步骤:
步骤401,获取训练样本集。
在本实施例中,缺陷检测模型训练方法运行于其上的电子设备(例如图1所示的服务)可以获取训练样本集,其中,训练样本包括待检测的物体的样本图像和与样本图像对应的缺陷类型和位置。训练样本中的缺陷类型和位置可以是手工标注的。
步骤402,将训练样本集中的每个训练样本的样本图像依次输入至初始化缺陷检测模型,得到每个样本图像所对应的预测缺陷类型和位置。
在本实施例中,基于步骤401所获取的待检测的物体的样本图像,电子设备可以将训练样本集中的每个训练样本的样本图像依次输入至初始化缺陷检测模型,从而得到每个样本图像所对应的预测缺陷类型和位置。这里,电子设备可以将每个样本图像从初始化缺陷检测模型的输入侧输入,依次经过初始化缺陷检测模型中的各层的参数的处理,并从初始化缺陷检测模型的输出侧输出,输出侧输出的信息即为该样本图像所对应的预测缺陷类型和位置。其中,初始缺陷检测模型可以是未经训练的缺陷检测模型或未训练完成的缺陷检测模型,其各层设置有初始化参数,初始化参数在缺陷检测模型的训练过程中可以被不断地调整。初始化缺陷检测模型可以采用VGG、ResNet、SE-ResNet、Faster RCNN等深度卷积神经网络结构。
步骤403,将训练样本集中的每个训练样本中的样本图像所对应的缺陷类型和位置与该样本图像的预测缺陷类型和位置进行比较,得到初始化缺陷检测模型的预测准确率。
在本实施例中,基于步骤402所得到的样本图像的预测缺陷类型,电子设备可以将训练样本中样本图像所对应的缺陷类型和位置与样本图像的预测缺陷类型和位置进行比较,从而得到初始化缺陷检测模型的预测准确率。具体地,若一个训练样本中样本图像所对应的缺陷类型和位置与该样本图像的预测缺陷类型和位置相同或相近,则初始化缺陷检测模型预测正确;若一个训练样本中样本图像所对应的缺陷类型和位置与该样本图像的预测缺陷类型和位置不同或不相近,则初始化缺陷检测模型预测错误。这里,电子设备可以计算预测正确的数目与样本总数的比值,并作为初始化缺陷检测模型的预测准确率。
在本实施例的一些可选的实现方式中,缺陷检测模型的损失值包括区域推荐网络损失值、分类损失值、回归损失值。分类损失值、回归损失值是分别对应softmax,smooth L1计算损失函数,区域推荐网络损失值是分类计算概率值。
步骤404,确定预测准确率是否大于预设准确率阈值。
在本实施例中,基于步骤403所得到的初始化缺陷检测模型的预测准确率,电子设备可以将初始化缺陷检测模型的预测准确率与预设准确率阈值进行比较,若大于预设准确度阈值,则执行步骤405。若大于预设准确度阈值,则执行步骤406。
步骤405,将初始化缺陷检测模型作为训练完成的缺陷检测模型。
在本实施例中,在初始化缺陷检测模型的预测准确度大于预设准确度阈值的情况下,说明该缺陷检测模型训练完成,此时,电子设备可以将初始化缺陷检测模型作为训练完成的缺陷检测模型。
步骤406,调整初始化缺陷检测模型的参数。
在本实施例中,在初始化缺陷检测模型的预测准确度不大于预设准确度阈值的情况下,电子设备可以调整初始化缺陷检测模型的参数,并返回执行步骤402,直至训练出能够表征待检测的物体的样本图像和与样本图像对应的缺陷类型之间的对应关系的缺陷检测模型为止。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于输出信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于输出信息的装置500包括:获取单元501、检测单元502和输出单元503。其中,获取单元501,被配置成获取待检测的物体的图像;检测单元502,被配置成将图像输入预先训练的缺陷检测模型,得到图像对应的缺陷类别和位置,其中,缺陷检测模型采用Faster RCNN算法;输出单元503,被配置成输出图像对应的缺陷类别和位置。
在本实施例中,用于输出信息的装置500的获取单元501、检测单元502和输出单元503的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203。
在本实施例的一些可选的实现方式中,获取单元501进一步被配置成:根据摄像头的以下至少一项参数获取待检测的物体的至少一个图像:角度、光线、滤镜、倍镜、聚焦。
在本实施例的一些可选的实现方式中,物体为木制物体,以及缺陷类别包括以下至少一项:虫洞、开裂、崩缺、结痂。
在本实施例的一些可选的实现方式中,缺陷检测模型采用SE-ResNet作为基础网络。
在本实施例的一些可选的实现方式中,装置500还包括训练单元504,被配置成:获取训练样本集合,训练样本包括待检测的物体的样本图像、与样本图像对应的缺陷类型和位置;将训练样本集合中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型和位置作为输出,训练得到缺陷检测模型。
在本实施例的一些可选的实现方式中,缺陷检测模型,包括:特征提取层、区域推荐网络、ROI池化层、分类回归层。
在本实施例的一些可选的实现方式中,缺陷检测模型的损失值包括区域推荐网络损失值、分类损失值、回归损失值。
下面参考图6,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)600的结构示意图。图6示出的服务器仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取待检测的物体的图像;将图像输入预先训练的缺陷检测模型,得到图像对应的缺陷类别和位置,其中,缺陷检测模型采用FasterRCNN算法;输出图像对应的缺陷类别和位置。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、检测单元和输出单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取待检测的物体的图像的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种用于输出信息的方法,包括:
获取待检测的物体的图像;
将所述图像输入预先训练的缺陷检测模型,得到所述图像对应的缺陷类别和位置,其中,所述缺陷检测模型采用Faster RCNN算法;
输出所述图像对应的缺陷类别和位置。
2.根据权利要求1所述的方法,其中,所述获取待检测的物体的图像,包括:
根据以下至少一项参数获取待检测的物体的至少一个图像:
角度、光线、滤镜、倍镜、聚焦。
3.根据权利要求1所述的方法,其中,所述物体为木制物体,以及所述缺陷类别包括以下至少一项:
虫洞、开裂、崩缺、结痂。
4.根据权利要求1所述的方法,其中,所述缺陷检测模型采用SE-ResNet作为基础网络。
5.根据权利要求1-4之一所述的方法,其中,所述缺陷检测模型通过如下步骤训练得到:
获取训练样本集合,训练样本包括待检测的物体的样本图像、与样本图像对应的缺陷类型和位置;
将所述训练样本集合中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型和位置作为输出,训练得到所述缺陷检测模型。
6.根据权利要求5所述的方法,其中,所述缺陷检测模型,包括:特征提取层、区域推荐网络、ROI池化层、分类回归层。
7.根据权利要求5所述的方法,其中,所述缺陷检测模型的损失值包括区域推荐网络损失值、分类损失值、回归损失值。
8.一种用于输出信息的装置,包括:
获取单元,被配置成获取待检测的物体的图像;
检测单元,被配置成将所述图像输入预先训练的缺陷检测模型,得到所述图像对应的缺陷类别和位置,其中,所述缺陷检测模型采用Faster RCNN算法;
输出单元,被配置成输出所述图像对应的缺陷类别和位置。
9.根据权利要求8所述的装置,其中,所述获取单元进一步被配置成:
根据以下至少一项参数获取待检测的物体的至少一个图像:
角度、光线、滤镜、倍镜、聚焦。
10.根据权利要求8所述的装置,其中,所述物体为木制物体,以及所述缺陷类别包括以下至少一项:
虫洞、开裂、崩缺、结痂。
11.根据权利要求1所述的装置,其中,所述缺陷检测模型采用SE-ResNet作为基础网络。
12.根据权利要求8-11之一所述的装置,其中,所述装置还包括训练单元,被配置成:
获取训练样本集合,训练样本包括待检测的物体的样本图像、与样本图像对应的缺陷类型和位置;
将所述训练样本集合中的训练样本的样本图像作为输入,将与输入的样本图像对应的缺陷类型和位置作为输出,训练得到所述缺陷检测模型。
13.根据权利要求12所述的装置,其中,所述缺陷检测模型,包括:特征提取层、区域推荐网络、ROI池化层、分类回归层。
14.根据权利要求12所述的装置,其中,所述缺陷检测模型的损失值包括区域推荐网络损失值、分类损失值、回归损失值。
15.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201910248452.4A 2019-03-29 2019-03-29 用于输出信息的方法和装置 Pending CN110009614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910248452.4A CN110009614A (zh) 2019-03-29 2019-03-29 用于输出信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910248452.4A CN110009614A (zh) 2019-03-29 2019-03-29 用于输出信息的方法和装置

Publications (1)

Publication Number Publication Date
CN110009614A true CN110009614A (zh) 2019-07-12

Family

ID=67168878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910248452.4A Pending CN110009614A (zh) 2019-03-29 2019-03-29 用于输出信息的方法和装置

Country Status (1)

Country Link
CN (1) CN110009614A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458829A (zh) * 2019-08-13 2019-11-15 腾讯医疗健康(深圳)有限公司 基于人工智能的图像质控方法、装置、设备及存储介质
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、***及电子设备
CN110969600A (zh) * 2019-11-12 2020-04-07 华北电力大学扬中智能电气研究中心 一种产品缺陷检测方法、装置、电子设备及存储介质
CN111062920A (zh) * 2019-12-13 2020-04-24 北京百度网讯科技有限公司 用于生成半导体检测报告的方法及装置
CN111105413A (zh) * 2019-12-31 2020-05-05 哈尔滨工程大学 一种智能火花塞外观缺陷检测***
CN111402220A (zh) * 2020-03-11 2020-07-10 北京百度网讯科技有限公司 用于获取信息的方法及装置
CN111429894A (zh) * 2020-03-12 2020-07-17 南京邮电大学 基于SE-ResNet STARGAN的多对多说话人转换方法
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
WO2021249255A1 (zh) * 2020-06-12 2021-12-16 青岛理工大学 一种基于RP-ResNet网络的抓取检测方法
JP2022526473A (ja) * 2020-03-11 2022-05-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
CN116481461A (zh) * 2022-11-24 2023-07-25 广州帕卡汽车零部件有限公司 一种汽车隔音隔热零配件成孔切口毛糙度检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427920A (zh) * 2018-02-26 2018-08-21 杭州电子科技大学 一种基于深度学习的边海防目标检测方法
CN109087280A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 连铸坯质量检测方法、装置、控制设备、服务器及介质
CN109145973A (zh) * 2018-08-10 2019-01-04 北京百度网讯科技有限公司 用于检测单晶硅太阳能电池缺陷的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427920A (zh) * 2018-02-26 2018-08-21 杭州电子科技大学 一种基于深度学习的边海防目标检测方法
CN109087280A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 连铸坯质量检测方法、装置、控制设备、服务器及介质
CN109145973A (zh) * 2018-08-10 2019-01-04 北京百度网讯科技有限公司 用于检测单晶硅太阳能电池缺陷的方法和装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458829A (zh) * 2019-08-13 2019-11-15 腾讯医疗健康(深圳)有限公司 基于人工智能的图像质控方法、装置、设备及存储介质
CN110458829B (zh) * 2019-08-13 2024-01-30 腾讯医疗健康(深圳)有限公司 基于人工智能的图像质控方法、装置、设备及存储介质
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、***及电子设备
CN110969600A (zh) * 2019-11-12 2020-04-07 华北电力大学扬中智能电气研究中心 一种产品缺陷检测方法、装置、电子设备及存储介质
CN111062920A (zh) * 2019-12-13 2020-04-24 北京百度网讯科技有限公司 用于生成半导体检测报告的方法及装置
CN111062920B (zh) * 2019-12-13 2023-06-20 北京百度网讯科技有限公司 用于生成半导体检测报告的方法及装置
CN111105413B (zh) * 2019-12-31 2021-05-14 哈尔滨工程大学 一种智能火花塞外观缺陷检测***
CN111105413A (zh) * 2019-12-31 2020-05-05 哈尔滨工程大学 一种智能火花塞外观缺陷检测***
WO2021179565A1 (zh) * 2020-03-11 2021-09-16 北京百度网讯科技有限公司 用于获取信息的方法及装置
JP2022526473A (ja) * 2020-03-11 2022-05-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
CN111402220B (zh) * 2020-03-11 2023-06-09 北京百度网讯科技有限公司 用于获取信息的方法及装置
CN111402220A (zh) * 2020-03-11 2020-07-10 北京百度网讯科技有限公司 用于获取信息的方法及装置
CN111429894A (zh) * 2020-03-12 2020-07-17 南京邮电大学 基于SE-ResNet STARGAN的多对多说话人转换方法
CN111627015A (zh) * 2020-05-29 2020-09-04 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
CN111627015B (zh) * 2020-05-29 2024-04-26 联想(北京)有限公司 小样本缺陷识别方法、装置、设备及存储介质
WO2021249255A1 (zh) * 2020-06-12 2021-12-16 青岛理工大学 一种基于RP-ResNet网络的抓取检测方法
CN116481461A (zh) * 2022-11-24 2023-07-25 广州帕卡汽车零部件有限公司 一种汽车隔音隔热零配件成孔切口毛糙度检测方法
CN116481461B (zh) * 2022-11-24 2023-09-22 广州帕卡汽车零部件有限公司 一种汽车隔音隔热零配件成孔切口毛糙度检测方法

Similar Documents

Publication Publication Date Title
CN110009614A (zh) 用于输出信息的方法和装置
CN109993734A (zh) 用于输出信息的方法和装置
CN109949286A (zh) 用于输出信息的方法和装置
JP7335274B2 (ja) ジオロケーションの予測のためのシステムおよび方法
CN109978870A (zh) 用于输出信息的方法和装置
CN106471527B (zh) 从全局模型进行本地化学习
JP6596164B2 (ja) 単一ビューオブジェクト再構成のためのファイングレインデータセットにおける教師なしマッチング
CN109551459A (zh) 机器人***以及工件取出方法
CN108830837A (zh) 一种用于检测钢包溶蚀缺陷的方法和装置
CN108446585A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN109815770A (zh) 二维码检测方法、装置及***
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN109409327B (zh) 基于端到端深度神经网络的rru模块物件位姿检测方法
CN109544548A (zh) 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
CN109145836A (zh) 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN109886356A (zh) 一种基于三分支神经网络的目标追踪方法
CN110070106A (zh) 烟雾检测方法、装置及电子设备
CN109583367A (zh) 图像文本行检测方法及装置、存储介质和电子设备
US20220366244A1 (en) Modeling Human Behavior in Work Environment Using Neural Networks
CN115376518B (zh) 一种实时噪声大数据的声纹识别方法、***、设备和介质
CN112613569A (zh) 图像识别方法、图像分类模型的训练方法及装置
CN109740567A (zh) 关键点定位模型训练方法、定位方法、装置及设备
CN115131849A (zh) 图像生成方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination