CN110458812A - 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 - Google Patents

一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 Download PDF

Info

Publication number
CN110458812A
CN110458812A CN201910663730.2A CN201910663730A CN110458812A CN 110458812 A CN110458812 A CN 110458812A CN 201910663730 A CN201910663730 A CN 201910663730A CN 110458812 A CN110458812 A CN 110458812A
Authority
CN
China
Prior art keywords
neighborhood
image block
remote
color
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910663730.2A
Other languages
English (en)
Other versions
CN110458812B (zh
Inventor
刘峰
高嘉轩
干宗良
陈静静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910663730.2A priority Critical patent/CN110458812B/zh
Publication of CN110458812A publication Critical patent/CN110458812A/zh
Application granted granted Critical
Publication of CN110458812B publication Critical patent/CN110458812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法。所述方法包括如下步骤:获取待检测图像的远邻域颜色描述特征;对所述远邻域颜色描述特征进行修正获取修正后的远邻域颜色描述特征;根据所述修正后的远邻域颜色描述特征建立高斯混合模型;根据所述高斯混合模型获取待检测水果的缺陷位置。该方法以图像块为基础,通过考虑图像块与远邻域区域的差异性、与邻域区域的相似性及图像块自身颜色的数量、空间分布情况完成检测。本发明方法属于无监督学习方法,以分类方式输出检测结果,可完成多类型、多数量类圆形水果缺陷检测任务。

Description

一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法
技术领域
本发明属于机器视觉技术领域,具体涉及一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法。
背景技术
基于机器视觉技术的水果缺陷检测,现已逐步取代人工肉眼检测,前者在检测准确性、快速性及持久性上要远远优于后者。根据具体检测要求的不同,检测结果多以分类或分割的形式进行可视化。
目前国内外主要的缺陷检测方法大致可以分为以下四类:基于统计信息、基于滤波信息、基于图像分解以及基于深度学习的方法。基于统计信息的方法多以直方图为基础,建立好相应的训练直方图及检测直方图,比较两类直方图的距离以确定待检测部分是否为缺陷。该方法对于不同类型缺陷需建立不同的训练直方图,且对样本数量要求较高,普适性不强。基于滤波信息的方法对图像进行小波或轮廓波等变化,根据变化系数确定缺陷位置。该方法对变化参数设置要求较高,不同类型不同大小缺陷需要设置不同参数。基于低秩分解的方法将待检测图像分解为背景与随机噪声部分,其中非缺陷区域对应背景部分,非缺陷区域的相似性决定了该部分的低秩性,缺陷区域对应随机噪声部分。该方法不需任何存储样本,灵活性较强,并且结合了局部结构和全局结构,但该方法在实际检测过程中检测效果不佳。基于深度学习的方法属于有监督学习,该方法需要庞大的实际拍摄图片支撑样本数据库。整个过程由训练及测试组成,在训练阶段通过搭建神经网络,提取各类图片深度信息,在检测阶段根据训练得到的网络最优参数对输入图片进行最终类别输出。该方法的检测效率通常高于传统图像处理方法,但对样本及设备的要求较高。
发明内容
针对现有技术的不足,本发明的目的在于提供了一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,以解学现有技术中存在的检测效果不佳、准确性较低的问题。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,所述方法包括如下步骤:
获取待检测图像的远邻域颜色描述特征;
对所述远邻域颜色描述特征进行修正获取修正后的远邻域颜色描述特征;
根据所述修正后的远邻域颜色描述特征建立高斯混合模型;
根据所述高斯混合模型获取待检测水果的缺陷位置。
进一步的,所述远邻域颜色描述特征的获取方法包括:
获取所述待检测图像的颜色类别标记;
根据所述颜色类别标记建立颜色统计直方图;
建立所述待检测图像中各个像素点对应的远邻域区域和置信度;
根据所述颜色类别标记获取远邻域区域内与中心像素点同类别的相似像素点;
根据所述相似像素点个数获取远邻域相似值;
根据所述置信度和远邻域相似值计算得到远邻域相似值加权和;
根据所述颜色统计直方图和远邻域相似值加权和得到远邻域颜色相似描述特征。
进一步的,所述远邻域相似值加权和的计算方法如下:
FSumL=∑(u,v)∈LMsim(u,v)×Mconf(u,v) (10)
其中,FSumL为图像块中类别标记为L的像素点对应的远邻域相似值加权和,(u,v)为图像块中类别为L的像素点坐标,Msim为该图像块各像素的远邻域相似值构成的矩阵,Mconf为图像块置信度矩阵。
进一步的,所述远邻域颜色相似描述特征计算方法如下:
其中,F为远邻域颜色描述特征,FSum为远邻域相似值加权和,FRGB为颜色统计直方图。
进一步的,所述远邻域颜色相似描述特征的修正方法包括:
获取稀疏表达的最优稀疏度;
获取待检测图像中各图像块在最优稀疏度下对应的编码系数;
根据所述最优稀疏度对应的编码系数修正远邻域颜色描述特征。
进一步的,所述最优稀疏度的获取方法包括:
对所述远邻域颜色相似描述特征进行恢复处理获取恢复后远邻域颜色相似描述特征;
根据所述远邻域颜色相似描述特征和恢复后远邻域颜色相似描述特征获得两者的距离差;
将所述相同颜色类别标标记的图像块的距离差相加以获得当前稀疏度下的特征距离差之和;
改变稀疏度获得不同稀疏度下的特征距离差之和;
选择特征距离差之和的最小值对应的稀疏度作为最优稀疏度。
进一步的,所述修正后的远邻域颜色描述特征表达式如下:
其中,为修正后的远邻域颜色描述特征,D为超完备字典,wi为各邻域图像块权重值,αi为第i个邻域图像块编码系数。
进一步的,所述编码系数的计算公式如下:
[w2x2+w3x3+w4x4+w5x5,x2,x3,x4,x5]=D[α1,α2,α3,α4,α5]
i=xi,i=2,3,4
s.t min||α||row,0 (17)
式中,x2,x3,x4,x5为邻域图像块的修正前的远领域颜色描述特征,w2,w3,w4,w5为各邻域图像块权重值,α1为中心图像块编码系数,α2、α3、α4、α5为α1的邻域图像块编码系数,xi为第i个领域邻域图像块的修正前的远领域颜色描述特征,αi为第i个邻域图像块编码系数,D为超完备字典。
进一步的,所述待检测图像的获取方法包括:
通过去背景处理获取无背景的水果图像;
对所述无背景的水果图像进行扩充;
对扩充后的无背景的水果图像进行划分获取重叠图像块和非重叠图像块;
获取非重叠图像块中含有水果区域的图像块并对所述含有水果区域的图像块中需要填充的图像进行填充,所述填充后的含有水果区域的图像块和不需要填充的含有水果区域的图像块即为待检测图像。
进一步的,所述图像块填充方法包括:
将图像块填充部分的像素被置为该图像块中所有水果区域颜色值的均值。
与现有技术相比,本发明所达到的有益效果是:
(1)本发明在考虑缺陷自身邻域相似性的过程中,引入了稀疏表达,提出了一种改进的稀疏表达来反映邻域相似性,通过该稀疏表达修正后的远邻域颜色描述特征既考虑了差异性又反映了相似性,同时也提高了检测速度;
(2)本发明在填充像素缺失阶段,不同于对所有缺失区域填充,本发明先对图像进行分块处理,然后以图像块为基础,仅对含有部分水果区域的图像块进行填充,这种最佳填充方式减少了参与检测过程的非必要因素,为后续检测的高准确性和高效率性奠定了基础;
(3)本发明在传统颜色统计直方图的基础上,提出了一种远邻域颜色描述特征,该特征既能反映图像块内部各类颜色的数量分布情况,还能反映图像块内部各类颜色的空间分布情况,又能反应图像块与其远邻域区域的差异程度。
附图说明
图1为水果缺陷检测实施方法流程示意图;
图2为缺失像素最佳填充方式流程图;
图3为远邻域颜色描述特征提取总体流程图;
图4为各图像块远邻域相似和特征提取流程图;
图5为稀疏表达修正远邻域颜色描述特征流程图。
具体实施方式
下面结合说明书附图和具体实施对本发明工作原理和技术方案作进一步详细的描述。
如图1所示,一种基于颜色描述及稀疏表达的水果缺陷检测方法,包括水果图像提取、水果图像的分块处理、缺失像素填充、远邻域颜色描述特征提取、稀疏表达修正颜色描述特征、高斯混合模型分类、缺陷位置确定。具体步骤如下:
步骤一,水果图像提取。利用背景与水果的颜色差异可直接利用阈值操作对实时拍摄的水果图像进行去背景处理。由于拍摄方式不限,水果周围可能会出现小部分阴影,导致背景去除不完全,提取的水果周边仍包含少许背景。为减少阴影部分影响,可对阈值处理后的水果部分进行腐蚀,完成景物分离,提取水果,得到无背景的水果图像。
步骤二,水果图像的分块处理。为了便于特征提取,后续检测操作均以图像块为基础,因此需对水果部分分别进行重叠图像块及非重叠图像块划分。但是介于类圆形水果形状的特殊性,无法对整个无背景的水果图像区域正常分块,因此需先将无背景的水果图像中的水果区域扩充为外接矩形,接着对该外接矩形进行图像块划分,其中扩充出的部分像素暂被置为0。
为了保证行、列能被整数个图像块完全划分,需对扩充后的区域进行缩放。缩放后的宽、高分别为:
其中,W1、H1为缩放后扩充区域的宽度和高度,W0、H0为缩放前扩充区域的宽度和高度,WB0、HB0为非重叠块宽度和高度。
缩放完成后,可以进行非重叠块与重叠块划分。划分后各行、各列图像块数量分别为:
其中,Nx0、Ny0为非重叠块划分后各行、各列图像块数量,Nx1、Ny1为重叠块划分后各行、各列图像块数量。W1、H1为待分块图像的宽度和高度,WB0、HB0为非重叠块宽度和高度,WB1、HB1为非重叠块宽度和高度。
步骤三,缺失像素填充。如图2所示,填充像素缺失部分。外接矩形内部区域与水果区域的相异部分存在像素缺失,需对该相异部分进行填充。为保证检测的准确性与及时性,填充操作仅需针对包含部分水果的图像块。步骤二中执行分块处理的外接矩形中非水果区域像素为零,需对该部分像素进行填充。为保证检测的准确性与及时性,不对所有像素为零的位置进行填充,而是有选择性地执行像素填充处理。具体填充过程如下:
3.1)根据划分后得到的各个非重叠块中是否包含水果区域,可将非重叠块划分为两大类,有用图像块类与无用图像块类。包含水果区域的图像块被添加进有用图像块集合,不包含水果区域的图像块被添加进无用图像块集合。在后续的检测操作中只保留有用图像块集合中的图像块。
3.2)再根据各个图像块中包含水果区域的多少将有用图像块集合中的图像块分为两小类,需填充图像块类与无需填充图像块类。全部包含水果区域的图像块被添加进无需填充图像块集合,部分包含水果区域的图像块被添加进需填充图像块集合。
3.3)对于需填充图像块集合中的某一个具体图像块,需填充部分的像素被置为该图像块中所有水果区域颜色值的均值,所有填充后的含有水果区域的图像块和不需要填充的含有水果区域的图像块即为待检测图像。
步骤四,远邻域颜色描述特征提取。如图3、图4所示,对分块处理后的图像,根据缺陷部分与非缺陷部分在颜色上的差异提取新构建的远邻域颜色描述特征。缺陷的分布情况可类比图像中的随机独立噪声点,对于小面积缺陷,其邻域之外区域为非缺陷的可能性较高,对于非缺陷区域,其邻域之外区域为非缺陷的可能性较高,因此通过待检测目标区域属性与其邻域之外区域属性的相似性可以区分出小面积缺陷与非缺陷;而对于大面积缺陷,其邻域之外区域依旧为缺陷的可能性较高,为了进一步区分出大面积缺陷与非缺陷,可利用目标区域颜色属性加以区分。同时,无论是大缺陷还是小缺陷,其内部颜色分布情况都不同于非缺陷区域。因此,根据上述分析,该模块提出了一种新颖而有效的远邻域颜色描述特征,该特征既能反应待检测图像块与远邻域区域在颜色上的差异,又能反应待检测块自身颜色的数量分布和空间分布情况。该远邻域颜色描述特征具体提取流程如下:
4.1)首先对整张待检测图像的颜色向量进行k均值聚类以得到各颜色向量的类别标记,即颜色类别标记。
4.2)接着对待检测图像中每个有用图像块建立颜色统计直方图,其中某一维特征为该块中所属特定类别的像素数量。
4.3)接着确定待检测图像中各个像素点对应的远邻域区域。远邻域区域由最远远邻域值和最近远邻域值决定。其中最远远邻域值限制了远邻域外边缘像素所在位置,即远邻域所有外边缘像素与中心像素之间的横向距离或纵向距离为最远远邻域值;最近远邻域值限制了远邻域内边缘像素所在位置,即远邻域所有内边缘像素与中心像素之间的横向距离或纵向距离为最近远邻域值,因此最远邻域区域内的像素位于外边缘与内边缘之间。具体表述如下:
Disfar≤|xfn-xc|≤Disnear (7)
Disfar≤|yfn-yc|≤Disnear (8)
其中,Disfar、Disnear分别为最远、最近远邻域值,(xc,yc)为中心像素点坐标,(xfn,yfn)为远邻域区域内某一像素点坐标。
4.4)由4.1)中各像素的聚类类别标记,可以得到远邻域区域内与中心像素在类别上相同的像素点,从而获得远邻域区域与中心像素在颜色上的相似程度,该相似程度又被称为远邻域相似值。
4.5)以图像块为基础,综合每一个像素点的远邻域相似值,建立属于该图像块的远邻域颜色描述特征。针对某一图像块,其具体提取方式如下:
Ⅰ.对于块中不同位置的像素点,需要为其远邻域相似值添加置信度。因为位于块边缘的像素点,它们的远邻域区域属于该图像块的远邻域区域,但位于块中间的像素点,它们的远邻域区域则属于该图像块的近邻域区域。因此当以图像块为基础时,块内各个像素点的远邻域相似值置信度不同,越靠近块边缘的像素点置信度应越高,越接近中心的像素点置信度应越低。置信度矩阵如下所示,矩阵中各元素值表示对应位置像素点远邻域相似值的置信度:
观察上述置信度矩阵,可以发现该矩阵以左上角5×5大小的矩阵为基本单元,上下、左右分别对称,并且越接近边缘置信度越高,越接近中间置信度越低。
Ⅱ.对于某一特定类别标记,可以找到该图像块中所有属于该类别的像素点,从而可以获得这些像素点的远邻域相似值及对应的置信度值。将这些像素点的远邻域相似值分别与其置信度值相乘并相加可得到该类别对应的远邻域相似值加权和。具体表述如下:
FSumL=∑(u,v)∈LMsim(u,v)×Mconf(u,v) (10)
其中,FSumL为该图像块中类别标记为L的像素点对应的远邻域相似值加权和,(u,v)为图像块中类别为L的像素点坐标,Msim为该图像块各像素的远邻域相似值构成的矩阵,该矩阵大小和Mconf相同。
III.遍历该图像块中所有的类别,可以分别得到各个类别对应的远邻域相似值加权和。
IV.由4.2)得到了各图像块的颜色直方图统计特征,该特征反映了图像块中各类颜色分布的数量多少,由4.5)中的III得到了各图像块的远邻域相似加权和特征,该特征既能反映图像块中各类颜色与其远邻域区域的相似程度,又能反应图像块内部各类颜色的空间分布情况。这两个特征的维度与颜色类别数量相关,即各维度属性为特定的一种颜色类别。将两个特征按照对应类别相除,可以得到平均各类颜色与远邻域区域的相似程度,即为最终的远邻域颜色相似描述特征:
其中,F为该图像块最终的远邻域颜色描述特征,FSum为该图像块远邻域相似加权和特征,FRGB为该图像块颜色直方图统计特征。
该远邻域颜色描述特征既能反映图像块与远邻域区域的颜色相似程度,又能反应图像块内部自身的数量分布和空间分布情况。相较于单纯反映图像块中各类颜色数量分布情况的颜色统计直方图,远邻域颜色描述特征要远远好于后者。
步骤五,稀疏表达修正远邻域颜色描述特征。考虑到缺陷分布的离散型及各缺陷自身的邻域相似性,引入改进的稀疏表达修正远邻域颜色描述特征。如图5所示,由于水果表面颜色的随机性及拍摄角度带来的明暗程度不同,单纯使用步骤四所述的远邻域颜色描述特征进行分类会出现少量小面积独立图像块与缺陷部分出现在同一张类别图中的情况,此时,少量小面积独立图像块在该类别图中的存在可类比于噪声。由于各个图像块与其邻域图像块相似程度较高,即缺陷图像块邻域仍为缺陷图像块的可能性较大,根据这一特性可以引入稀疏表达来消除少量小面积独立图像块的影响。具体引入方式如下:
5.1)基本的稀疏表达原理式为:
s.tmin||α||0 (12)
其中,x为修正前的远领域颜色描述特征,D为超完备字典,为字典中的原子,为稀疏表示系数,该表达式的基本含义是:数据通过编码后可用字典中的原子线性表示,其中稀疏表示系数中大部分元素为0,即编码后数据仅需采用少量字典原子线性表示,这样减少了数据的冗余,实现了数据的压缩。由5.1)给出的原理式可知,稀疏表达存在三个主要变量:数据、字典和稀疏表示系数,下面分别针对这三个变量进行邻域信息引入可行性分析。
I.由于该发明中水果检测属于无监督检测方式,因此需要根据
拍摄照片及K-SVD算法实时生成超完备字典,且对于待检测图片中各个待编码图像块,其所对应的字典都应保持不变,因此无法从字典上引入邻域信息。
II.对于各个待编码图像块,其与邻域图像块具有一定相似性,因此待编码图像块可视为由邻域图像块加权组合而成。以4-邻域为例,有如下近似等式:
x1=w2x2+w3x3+w3x3+w4x4 (13)
其中,x1为待编码的修正前的远领域颜色描述特征,x2,x3,x4,x5为x1邻域图像块的修正前的远领域颜色描述特征,w2,w3,w4,w5为各邻域图像块权重值。该式中,权重由各邻域图像块与待编码图像块的距离决定:
Dis1i=||x1-xi||1,i=2,3,4 (14)
其中,Dis1i表示某一邻域块与带编码块的距离,wi为第i个邻域图像块权重值。
III.由于稀疏表示是利用少量原子进行线性表示,对于处于同一邻域范围内的数据,它们的相似性决定了这些数据选择线性表示原子的相似程度高,因此在稀疏表示中,中心图像块挑选的字典原子可视为与邻域图像块挑选的字典原子相同,它们之间的差别仅在于利用各原子进行线性表示的系数上,即中心图像块与邻域图像块的编码系数非零位置相同,但在同一位置上的系数值不同。引入稀疏表示后,既要保证各编码系数的稀疏性,又要保证全部的非零元素位置相同,以4-邻域为例,其限制表达式如下:
min||[α1,α2,α3,α4,α5]||row,0 (16)
其中,α1为中心图像块编码系数,α2、α3、α4、α5为α1的邻域图像块编码系数。
5.2)由5.1)分析可知,对于邻域信息的引入,既能从数据上入手,又能从编码系数上入手。因此,本发明从从这两方面入手引入邻域信息。以4-邻域为例,整合后的表达式如下:
[w2x2+w3x3+w4x4+w5x5,x2,x3,x4,x5]=D[α1,α2,α3,α4,α5]
i=xi,i=2,3,4
s.t min||α||row,0 (17)
xi为第i个领域邻域图像块的修正前的远领域颜色描述特征,αi为第i个邻域图像块编码系数,D为超完备字典。
在上述表达式中,稀疏度的选择决定了邻域信息的引入程度,因此为了充分利用邻域信息,本发明采用动态选择稀疏值方式,具体过程如下:
根据待检测图像的颜色类别标记获取图像块类别标记;从拥有同种图像块类别标记的图像块中随机选择一个作为中心图像块,其余作为邻域图像块;
通过恢复处理算法得到中心图像块的恢复远邻域颜色相似描述特征,从而获得该中心图像块恢复前后的远邻域颜色相似描述特征的距离差。将所有图像块类别的距离差相加以获得当前稀疏度下的特征距离差之和。改变稀疏度已获得不同稀疏度下的特征距离差之和。选择特征距离差之和的最小值对应的稀疏度作为最优稀疏度。接着稀疏度得到最优稀疏度后,可以得到各图像块的最优编码矩阵,下面需要利用这些矩阵对步骤四中得到的远邻域颜色描述特征进行修正,完成邻域信息的引入,具体修正方式如下:
首先将各图像块的最终编码表示为其对应最优编码矩阵中邻域编码的加权组合,其中权数与式(15)相同。
接着将字典与最终编码相乘得到该图像块修正后的特征。以4-邻域为例,其中:
其中,为修正后的远邻域颜色描述特征,D为超完备字典,wi为第i个邻域图像块权重值,αi为第i个邻域图像块编码系数。
步骤六,高斯混合模型建立。将步骤五修正得到的颜色描述特征送入高斯混合模型进行训练,通过EM算法迭代训练获得模型最优参数及各图像块的分类结果。分类后缺陷图像块与非缺陷图像块会被划分到不同的类别图中。
步骤七,缺陷位置确定。经过步骤六后,虽然缺陷与非缺陷图像块被划分在了不同类图中,具体哪个类别属于缺陷所在类图还需进一步处理。为此,本发明采取有监督学习方式进行缺陷位置确定,通过训练多层感知机MLP,对各类图连通区域进行MLP分类。
分类结果会有如下四种情况:1)输出类别为缺陷,输出置信度大于置信度阈值;2)输出类别为缺陷,输出置信度小于置信度阈值;3)输出类别为非缺陷,输出置信度大于置信度阈值;4)输出类别为非缺陷,输出置信度小于置信度阈值。属于情况3)的区域为确定缺陷,属于情况1)的区域为确定的非缺陷。属于情况2)4)的区域需要进行二次判定。其判定规则为观察该区域中各图像块中8-邻域内是否存在缺陷,若存在,则该块被确定为缺陷,否则为非缺陷。
经过步骤一至步骤七,最终可以明确标定出检测得到的缺陷。
在类别划分阶段采用无监督学习方式,以分类形式显示结果的类圆形水果缺陷检测方法。其中颜色描述部分提出了一种新颖且有效的远邻域颜色描述特征,该特征用来反映水果缺陷部分与健康部分的差异性,稀疏表达部分用来反映各部分与其邻域的相似性。
应理解上述实施例仅用于说明本发明技术方案的具体实施方式,而不用于限制本发明的范围。在阅读了本发明之后,本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。

Claims (10)

1.一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述方法包括如下步骤:
获取待检测图像的远邻域颜色描述特征;
对所述远邻域颜色描述特征进行修正获取修正后的远邻域颜色描述特征;
根据所述修正后的远邻域颜色描述特征建立高斯混合模型;
根据所述高斯混合模型获取待检测水果的缺陷位置。
2.根据权利要求1所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述远邻域颜色描述特征的获取方法包括:
获取所述待检测图像的颜色类别标记;
根据所述颜色类别标记建立颜色统计直方图;
建立所述待检测图像中各个像素点对应的远邻域区域和置信度;
根据所述颜色类别标记获取远邻域区域内与中心像素点同类别的相似像素点;
根据所述相似像素点个数获取远邻域相似值;
根据所述置信度和远邻域相似值计算得到远邻域相似值加权和;
根据所述颜色统计直方图和远邻域相似值加权和得到远邻域颜色相似描述特征。
3.根据权利要求2所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述远邻域相似值加权和的计算方法如下:
FSumL=∑(u,v)∈LMsim(u,v)×Mconf(u,v) (10)
其中,FSumL为图像块中类别标记为L的像素点对应的远邻域相似值加权和,(u,v)为图像块中类别为L的像素点坐标,Msim为该图像块各像素的远邻域相似值构成的矩阵,Mconf为图像块置信度矩阵。
4.根据权利要求2所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述远邻域颜色相似描述特征计算方法如下:
其中,F为远邻域颜色描述特征,FSum为远邻域相似值加权和,FRGB为颜色统计直方图。
5.根据权利要求2所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述远邻域颜色相似描述特征的修正方法包括:
获取稀疏表达的最优稀疏度;
获取待检测图像中各图像块在最优稀疏度下对应的编码系数;
根据所述最优稀疏度对应的编码系数修正远邻域颜色描述特征。
6.根据权利要求5所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述最优稀疏度的获取方法包括:
对所述远邻域颜色相似描述特征进行恢复处理获取恢复后远邻域颜色相似描述特征;
根据所述远邻域颜色相似描述特征和恢复后远邻域颜色相似描述特征获得两者的距离差;
将所述相同颜色类别标标记的图像块的距离差相加以获得当前稀疏度下的特征距离差之和;
改变稀疏度获得不同稀疏度下的特征距离差之和;
选择特征距离差之和的最小值对应的稀疏度作为最优稀疏度。
7.根据权利要求5所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述修正后的远邻域颜色描述特征表达式如下:
其中,为修正后的远邻域颜色描述特征,D为超完备字典,wi为各邻域图像块权重值,αi为第i个邻域图像块编码系数。
8.根据权利要求5所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述编码系数的计算公式如下:
[w2x2+w3x3+w4x4+w5x5,x2,x3,x4,x5]=D[α12345]
i=xi,i=2,3,4
s.t min||α||row,0 (17)
式中,x2,x3,x4,x5为邻域图像块的修正前的远领域颜色描述特征,w2,w3,w4,w5为各邻域图像块权重值,α1为中心图像块编码系数,α2、α3、α4、α5为α1的邻域图像块编码系数,xi为第i个领域邻域图像块的修正前的远领域颜色描述特征,αi为第i个邻域图像块编码系数,D为超完备字典。
9.根据权利要求1所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述待检测图像的获取方法包括:
通过去背景处理获取无背景的水果图像;
对所述无背景的水果图像进行扩充;
对扩充后的无背景的水果图像进行划分获取重叠图像块和非重叠图像块;
获取非重叠图像块中含有水果区域的图像块并对所述含有水果区域的图像块中需要填充的图像进行填充,所述填充后的含有水果区域的图像块和不需要填充的含有水果区域的图像块即为待检测图像。
10.根据权利要求9所述的一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法,其特征在于,所述图像块填充方法包括:
将图像块填充部分的像素被置为该图像块中所有水果区域颜色值的均值。
CN201910663730.2A 2019-07-22 2019-07-22 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 Active CN110458812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910663730.2A CN110458812B (zh) 2019-07-22 2019-07-22 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910663730.2A CN110458812B (zh) 2019-07-22 2019-07-22 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法

Publications (2)

Publication Number Publication Date
CN110458812A true CN110458812A (zh) 2019-11-15
CN110458812B CN110458812B (zh) 2022-08-30

Family

ID=68483030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910663730.2A Active CN110458812B (zh) 2019-07-22 2019-07-22 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110458812B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111024710A (zh) * 2019-12-17 2020-04-17 江苏恒宝智能***技术有限公司 一种农作物异常检测***及方法
CN112734691A (zh) * 2020-12-17 2021-04-30 郑州金惠计算机***工程有限公司 一种工业制品缺陷检测方法、装置、终端设备及存储介质
CN114792314A (zh) * 2022-06-21 2022-07-26 南通永卓金属制品有限公司 基于激光束的金属丝网缺陷检测方法及人工智能***
CN115115638A (zh) * 2022-08-30 2022-09-27 南通翡利达液压科技有限公司 一种液压***漏油检测及判定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544256A (en) * 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
CN103226616A (zh) * 2013-05-16 2013-07-31 南京龙渊微电子科技有限公司 一种图像内容检索***及其图像内容稀疏学习方法
CN105787955A (zh) * 2016-03-29 2016-07-20 河南森源电气股份有限公司 一种带钢缺陷的稀疏分割方法及其分割装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544256A (en) * 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
CN103226616A (zh) * 2013-05-16 2013-07-31 南京龙渊微电子科技有限公司 一种图像内容检索***及其图像内容稀疏学习方法
CN105787955A (zh) * 2016-03-29 2016-07-20 河南森源电气股份有限公司 一种带钢缺陷的稀疏分割方法及其分割装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111024710A (zh) * 2019-12-17 2020-04-17 江苏恒宝智能***技术有限公司 一种农作物异常检测***及方法
CN112734691A (zh) * 2020-12-17 2021-04-30 郑州金惠计算机***工程有限公司 一种工业制品缺陷检测方法、装置、终端设备及存储介质
CN114792314A (zh) * 2022-06-21 2022-07-26 南通永卓金属制品有限公司 基于激光束的金属丝网缺陷检测方法及人工智能***
CN115115638A (zh) * 2022-08-30 2022-09-27 南通翡利达液压科技有限公司 一种液压***漏油检测及判定方法

Also Published As

Publication number Publication date
CN110458812B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN109961049B (zh) 一种复杂场景下香烟品牌识别方法
CN110458812A (zh) 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法
CN107833220B (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
US6937761B2 (en) Process for processing images to automatically extract semantic features
CN108898610A (zh) 一种基于mask-RCNN的物体轮廓提取方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN112329588B (zh) 一种基于Faster R-CNN的管道故障检测方法
CN103886589B (zh) 面向目标的自动化高精度边缘提取方法
CN107358636B (zh) 一种基于纹理合成的疏松缺陷图像生成方法
CN110992317A (zh) 一种基于语义分割的pcb板缺陷检测方法
CN113689445B (zh) 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法
CN111242864A (zh) 一种基于Gabor纹理约束的手指静脉图像修复方法
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN111080574A (zh) 一种基于信息熵和视觉注意机制的织物疵点检测方法
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN114820541A (zh) 基于重构网络的缺陷检测方法
CN117788402A (zh) 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法
CN110443790B (zh) 一种医学影像中软骨识别方法和识别***
CN109063749B (zh) 一种基于角点辐射域的鲁棒卷积核数量适配方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN115082784A (zh) 一种多时相遥感影像无监督变化检测伪样本自动生成方法
CN115457296A (zh) 一种面向非平稳纹理结构属性的结构提取方法
CN115456944A (zh) 一种基于目标检测的陶瓷基板外观缺陷智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant