CN109002851B - 一种基于图像多特征融合的水果分类方法及应用 - Google Patents
一种基于图像多特征融合的水果分类方法及应用 Download PDFInfo
- Publication number
- CN109002851B CN109002851B CN201810738976.7A CN201810738976A CN109002851B CN 109002851 B CN109002851 B CN 109002851B CN 201810738976 A CN201810738976 A CN 201810738976A CN 109002851 B CN109002851 B CN 109002851B
- Authority
- CN
- China
- Prior art keywords
- fruit
- image
- images
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 230
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims description 58
- 238000001914 filtration Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000012706 support-vector machine Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 241000207199 Citrus Species 0.000 description 1
- 235000005979 Citrus limon Nutrition 0.000 description 1
- 244000131522 Citrus pyriformis Species 0.000 description 1
- 241000132456 Haplocarpha Species 0.000 description 1
- 241000220225 Malus Species 0.000 description 1
- 235000011430 Malus pumila Nutrition 0.000 description 1
- 235000015103 Malus silvestris Nutrition 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 244000183278 Nephelium litchi Species 0.000 description 1
- 235000015742 Nephelium litchi Nutrition 0.000 description 1
- 241001631271 Prunus fasciculata Species 0.000 description 1
- 235000006029 Prunus persica var nucipersica Nutrition 0.000 description 1
- 244000017714 Prunus persica var. nucipersica Species 0.000 description 1
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 240000001987 Pyrus communis Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像多特征融合的水果分类方法及应用,所述方法包括:获取训练集和测试集;预处理;提取颜色特征,LBP纹理特征和形状特征;得到训练集水果特征集合和测试集水果特征集合;将训练集水果特征集合作为多种可进行水果分类的分类器的输入,对多种可进行水果分类的分类器进行训练,将测试集水果特征集合作为多种可进行水果分类的分类器的输入,将平均分类准确率最高的分离器作为最佳分类器;将测试集水果特征集合作为最佳分类器的输入,得到输入的水果特征对应的水果图像中的水果类型。本发明适用于多种水果的分类且检测精度高。
Description
技术领域
本发明涉及计算机视觉中的水果图像分类领域,能够有效的根据水果图像对水果的种类进行划分。
背景技术
水果分类识别是一个涉及范围很广的课题,目前水果分类识别主要集中在水果种类的划分,品质分级,成熟度识别,缺陷检测以及机器人采摘等问题,现在对水果图像的研究一般集中在某一类水果上,对多分类水果识别研究较少,但是多类水果识别在实际中拥有广泛的应用价值,在超市中可以利用多类水果图像识别来实现自助水果的购买;在生产线上多类水果分类识别还能减少人力成本,提高生产效率;另外水果图像分类在智慧农业和数字健康医疗领域也有一定的研究意义,在智慧农业方面,可以通过对水果图像的识别来进行果实的自动化采摘;而在数字医疗方面,在水果分类的基础上可以进一步获取其中所含有的营养成分,帮助患者在后期恢复中制定合理的膳食搭配。
水果图像分类主要包括两个部分,特征提取和分类器的设计。特征提取提取的方法有很多,其中颜色特征提取包括RGB颜色直方图和HSV颜色直方图等,纹理特征的提取有LBP和SIFT等方式,轮廓特征的提取有霍夫变换(HOUGH)和傅里叶描述子等方式;分类器的设计也有多种选择,其中最常用到有BP神经网络,支持向量机(SVM)以及决策树分类器等。但是,上述各方法往往存在只适用特定的几种水果或者识别率不高的问题。
发明内容
针对现有技术存在的问题,本发明提出了一种识别率高,适用广泛的基于图像多特征融合的水果分类方法及应用,解决了以往方法只适用特定的几种水果,以及识别率低的缺点。本发明采用的技术手段如下:
一种基于图像多特征融合的水果分类方法,包括:
获取水果图像作为训练集和测试集;
对训练集和测试集中的水果图像进行预处理:
对训练集和测试集中的水果图像进行灰度化处理,均值滤波处理和图片阈值化处理,得到所对应的水果图像的掩模模板(MASK);
对训练集和测试集中的水果图像提取颜色特征,对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP(局部二值模式)纹理特征和形状特征;
对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征,得到训练集水果特征集合和测试集水果特征集合,即对每个水果图像做上述处理,将训练集对应的所有水果图像的水果特征作为训练集水果特征集合,将测试集对应的所有水果图像的水果特征作为测试集水果特征集合;
由于单个水果图像特征难以精确的用来对水果图像进行分类,这严重影响了水果分类的识别率,因此本发明对水果的颜色特征,纹理特征和形状特征进行了融合,由于前期对颜色特征和纹理特征都采用了直方图处理降低了它们的维度,并且三种特征对水果图像识别都很重要,所以融合的方式采取了最简单的串联,将三种特征最终串联为142维的特征向量。
将训练集水果特征集合作为多种可进行水果分类的分类器的输入,对多种可进行水果分类的分类器进行训练,将测试集水果特征集合作为多种可进行水果分类的分类器的输入,将平均分类准确率最高的分离器作为最佳分类器;
将测试集水果特征集合作为最佳分类器的输入,得到输入的水果特征对应的水果图像中的水果类型。
所述训练集和所述测试集中的水果图像来源于kaggle平台(一个数据分析竞赛平台)提供的Fruits-360标准水果图像库,包含60种水果;
所述训练集包含28736张水果图像,所述测试集包含9673张水果图像,所述训练集和所述测试集中的水果图像大小均为100x100像素。
所述灰度化处理为利用Opencv开源库对训练集和测试集中的水果图像进行灰度化处理,将RGB颜色空间图片转化为灰度图;
所述均值滤波处理为对灰度图进行均值滤波处理,以减少灰度图中的噪点,所述均值滤波处理后输出的图像像素为核窗口内输入图像的平均值;
所述图片阈值化处理为利用阈值分割从所述均值滤波处理后输出的图像分割出水果部分,得到所对应的水果图像的掩模模板(MASK),其基于所述均值滤波处理后输出的图像中物体与背景之间的灰度差异,而且此分割属于像素级的分割,其分割的结果得到的是一个二值图像也就是掩模模板。
所述提取颜色特征为将RGB颜色空间图像转换为HSV颜色空间图像,并利用掩模模板,只对水果部分提取颜色特征,其中,H代表色调,S代表饱和度,V代表明度,
LBP经过多年的发展已经有不同方式的LBP,其中包括:原始LBP特征,圆形LBP特征,旋转不变LBP特征以及均值模式LBP特征(Uniform Pattern LBP)。
所述LBP纹理特征为均值模式LBP纹理特征,因为它不仅具有旋转不变性和灰度不变性,而且极大的减少了LBP模式的二进制模式,在使数据量减少的同时,能最好的表示图像的信息。
所述形状特征为HU矩形状特征,适用于纹理特征不太复杂的图像,能够对物体的形状有个较好的描述。
所述最佳分类器为支持向量机(SVM)分类器,其参数为:核函数为高斯核函数(RBF),惩罚项参数C为1000,核函数的系数gamam为0.1,多分类准则为ovr(one-vs-rest),此时对每个分类定义了一个二类SVM。
本发明还公开了一种基于图像多特征融合的水果分类***,包括:
获取单元,被配置为获取水果图像作为训练集和测试集;
预处理单元,被配置为对训练集和测试集中的水果图像进行预处理:
对训练集和测试集中的水果图像进行灰度化处理,均值滤波处理和图片阈值化处理,得到所对应的水果图像的掩模模板;
提取单元,被配置为对训练集和测试集中的水果图像提取颜色特征,对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP纹理特征和形状特征;
直方图处理及融合单元,被配置为对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征,得到训练集水果特征集合和测试集水果特征集合;
选取单元,被配置为将训练集水果特征集合作为多种可进行水果分类的分类器的输入,对多种可进行水果分类的分类器进行训练,将测试集水果特征集合作为多种可进行水果分类的分类器的输入,将平均分类准确率最高的分离器作为最佳分类器;
输出结果单元,被配置为将测试集水果特征集合作为最佳分类器的输入,得到输入的水果特征对应的水果图像中的水果类型。
本发明还公开了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时,执行上述所述的方法。
本发明还公开了一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器通过所述计算机程序运行执行上述所述的方法。
本发明的有益效果为:
(1)利用水果图像的颜色特征,纹理特征和形状特征进行融合提升了水果图片分类的正确率,并且适用于多种水果的分类。
(2)通过对不同分类器在水果图像分类效果的对比选择,选择了更适合水果图像分类的支持向量机(SVM)分类器,提升了检测速度和精度。
基于上述理由本发明可在计算机视觉中的水果图像分类等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的具体实施方式中一种基于图像多特征融合的水果分类方法的流程图;
图2为本发明的具体实施方式中其中一张水果图像;
图3为图2中水果图像的掩模模板;
图4为本发明的具体实施方式中H通道颜色直方图;
图5为本发明的具体实施方式中S通道颜色直方图;
图6为本发明的具体实施方式中水果图像的LBP纹理特征图;
图7为本发明的具体实施方式中LBP直方图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,一种基于图像多特征融合的水果分类方法,包括:
获取水果图像作为训练集和测试集;
所述训练集和所述测试集中的水果图像来源于kaggle平台提供的Fruits-360标准水果图像库,包含60种水果;
所述训练集包含28736张水果图像,所述测试集包含9673张水果图像,所述训练集和所述测试集中的水果图像大小均为100x100像素。
本具体实施方式为了简化选择10种常见的水果作为训练样本库,10种水果分别包括:苹果,香蕉,柠檬,梨,樱桃,毛桃,油桃,橘子,柑橘和荔枝,其中,训练集包含4655张水果图像,如表1;
表1
选择同样的10种水果作为测试集,测试集包含1560张水果图像。
对训练集和测试集中的水果图像进行预处理,其中一张水果图像如图2所示:
对训练集和测试集中的水果图像进行灰度化处理,均值滤波处理和图片阈值化处理,得到所对应的水果图像的掩模模板;
对训练集和测试集中的水果图像提取颜色特征,对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP纹理特征和形状特征;
对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征,得到训练集水果特征集合和测试集水果特征集合;
将训练集水果特征集合作为多种可进行水果分类的分类器的输入,对多种可进行水果分类的分类器进行训练,将测试集水果特征集合作为多种可进行水果分类的分类器的输入,将平均分类准确率最高的分离器作为最佳分类器;
本实施例选取效果最好的三种分类器对水果图像进行识别,这三种方法分类器分别是逻辑回归(LogicRegression),决策树(DecisionTree)和支持向量机(SVM),并将三种分类器对水果图像20次测试的结果统计在了表2中,通过20次的试验测试对比可以明确发现SVM对10种水果图像的分类效果明显优于另外两种分类器,对10种水果的平均分类准确率达到了98%以上。
表2
所述最佳分类器为支持向量机(SVM)分类器,其参数为:核函数为高斯核函数,惩罚项参数C为1000,核函数的系数gamam为0.1,多分类准则为ovr(one-vs-rest)
将测试集水果特征集合作为最佳分类器的输入,得到输入的水果特征对应的水果图像中的水果类型。
所述灰度化处理为利用Opencv开源库对训练集和测试集中的水果图像进行灰度化处理,将RGB颜色空间图片转化为灰度图,转换公式为:
Gray=R*0.299+G*0.587+B*0.114;
所述均值滤波处理为对灰度图进行均值滤波处理,以减少灰度图中的噪点,所述均值滤波处理后输出的图像像素为核窗口内输入图像的平均值;
所述图片阈值化处理为利用阈值分割从所述均值滤波处理后输出的图像分割出水果部分,得到所对应的水果图像的掩模模板,其分割公式为:
其中src(x,y)是输入点图像像素,dst(x,y)为输出图像像素,thresh为给定的阈值,得到所对应的水果图像的掩模模板如图3所示。
所述提取颜色特征为将RGB颜色空间图像转换为HSV颜色空间图像,并利用掩模模板,只对水果部分提取颜色特征,其中,H代表色调,S代表饱和度,V代表明度,RGB颜色空间转换为HSV颜色空间的公式如下:
所述LBP纹理特征为均值模式LBP纹理特征,得到是一副二维的LBP图像,如图6所示,具体步骤如下:对训练集和测试集中的水果图像灰度化处理后的灰度图提取均值模式LBP纹理特征,原始的LBP算子定义在像素3*3的邻域内,以邻域中心像素为阈值,其周围的8个像素的灰度值与邻域中心的像素值进行比较,若周围像素大于中心像素值,则该像素点的位置被标记为1,否则为0,3*3邻域内的8个点经过比较可产生8位二进制数,将所述8位二进制数依次排列形成一个二进制数字,所述二进制数字就是中心像素的LBP值,共有28种可能,因此LBP值有256种,中心像素的LBP值反映了该中心像素周围区域的纹理信息,原始LBP公式为:
其中P为邻域第P个像素,ip为领域像素的灰度值,ic为中心像素的灰度值,s(x)为符号函数,均值模式LBP是在原始LBP和旋转不变LBP的基础上发展来的,其不是对特征怎么提取进行改进,而是上面几种特征提取方式取值范围过大,例如最原始的提取方法取值有28共256种二进制模式,如果采用圆形LBP,在5×5邻域内20个采样点,有220共1048576种二进制模式,这样数值范围过大,均值模式LBP规定当某个LBP所对应的循环二进制数从0到1或从1到0大于两次跳变时,均作为一种模式,这样就极大的减少了取值范围。
所述形状特征为HU矩形状特征,适用于纹理特征不太复杂的图像,能够对物体的形状有个较好的描述,HU矩提取了7个几何不变矩,这些不变矩具有图像平移,伸缩和旋转不变性,其中零阶矩代表了图像面积,一阶矩反映了图像的质心,二阶矩是惯性矩,三阶矩表现了目标对均值分布偏差的测度,通过计算图片的7个不变矩作为一组特征量,所以用HU矩进行图像识别的优点是速度快,其推导公式如下:
对于图像其p+q阶几何矩定义为:
图像的p+q阶中心距定义为:
归一化的中心矩定义为:
HU矩利用二阶和三阶归一化中心矩构造了7个不变矩M1-M7:
M1=η20+η02,
M2=(η20-η02)2+4η11 2,
M3=(η30-3η12)2+(3η21-η03)2,
M4=(η30-η12)2+(η21-η03)2
M5=(η30-3η12)2(η30+η12)[(η30+η12)2-3(η21-η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2],
M6=(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)
M7=(3η21-η03)2(η30+η12)[(η30+η12)2-3(η21+η03)2]-(η30-3η21)(η21+η03)[3(η30+η12)2-(η21+η03)2]。
以颜色特征为例,说明一下其直方图处理过程:分别对掩模模板区域内的HSV颜色空间图像中的H通道和S通道进行直方图处理,这样既能获得水果图像的颜色特征又能减小特征的维度,以一副100*100像素的图片为例,H通道颜色维度经过直方图处理后维度从10000维降到了36维,直方图是图像中像素像素强度分布图,它统计了每一个强度值所具有的像素个数,H通道取值范围为0-180,我们可以将其分为36个子空间,再分别统计位于子空间上像素的个数,子空间划分方式如下:
[0,180]=[0,5]∪[6,10]…∪[176,180]
range=bin1∪bin2∪…∪bin36
其中bin是每个特征空间子区段的数目可以自己选择,水果图像的H通道颜色直方图和S通道颜色直方图如图4和图5所示。
LBP纹理特征经直方图处理后得到的LBP直方图如图7所示。
实施例2
一种基于图像多特征融合的水果分类***,包括:
获取单元,被配置为获取水果图像作为训练集和测试集;
预处理单元,被配置为对训练集和测试集中的水果图像进行预处理:
对训练集和测试集中的水果图像进行灰度化处理,均值滤波处理和图片阈值化处理,得到所对应的水果图像的掩模模板;
提取单元,被配置为对训练集和测试集中的水果图像提取颜色特征,对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP纹理特征和形状特征;
直方图处理及融合单元,被配置为对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征,得到训练集水果特征集合和测试集水果特征集合;
选取单元,被配置为将训练集水果特征集合作为多种可进行水果分类的分类器的输入,对多种可进行水果分类的分类器进行训练,将测试集水果特征集合作为多种可进行水果分类的分类器的输入,将平均分类准确率最高的分离器作为最佳分类器;
输出结果单元,被配置为将测试集水果特征集合作为最佳分类器的输入,得到输入的水果特征对应的水果图像中的水果类型。
实施例3
一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时,执行实施例1所述的方法。
实施例4
一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器通过所述计算机程序运行执行实施例1所述的方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种基于图像多特征融合的水果分类方法,其特征在于,包括:
获取水果图像作为训练集和测试集;
对训练集和测试集中的水果图像进行预处理:
对训练集和测试集中的水果图像进行灰度化处理,均值滤波处理和图片阈值化处理,得到所对应的水果图像的掩模模板;
对训练集和测试集中的水果图像提取颜色特征,对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP纹理特征和形状特征;
对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征,得到训练集水果特征集合和测试集水果特征集合;
将训练集水果特征集合作为多种可进行水果分类的分类器的输入,对多种可进行水果分类的分类器进行训练,将测试集水果特征集合作为多种可进行水果分类的分类器的输入,将平均分类准确率最高的分离器作为最佳分类器;
将测试集水果特征集合作为最佳分类器的输入,得到输入的水果特征对应的水果图像中的水果类型;
所述训练集和所述测试集中的水果图像来源于kaggle平台提供的Fruits-360标准水果图像库,包含60种水果;
所述训练集包含28736张水果图像,所述测试集包含9673张水果图像,所述训练集和所述测试集中的水果图像大小均为100x100像素;
所述灰度化处理为利用Opencv开源库对训练集和测试集中的水果图像进行灰度化处理,将RGB颜色空间图片转化为灰度图;
所述均值滤波处理为对灰度图进行均值滤波处理,以减少灰度图中的噪点,所述均值滤波处理后输出的图像像素为核窗口内输入图像的平均值;
所述图片阈值化处理为利用阈值分割从所述均值滤波处理后输出的图像分割出水果部分,得到所对应的水果图像的掩模模板;
所述提取颜色特征为将RGB颜色空间图像转换为HSV颜色空间图像,并利用掩模模板,只对水果部分提取颜色特征,其中,H代表色调,S代表饱和度,V代表明度;
所述LBP纹理特征为均值模式LBP纹理特征;
所述形状特征为HU矩形状特征;
核函数为高斯核函数,惩罚项参数C为1000,核函数的系数gamam为0.1,多分类准则为ovr。
2.一种基于图像多特征融合的水果分类***,其特征在于,包括:
获取单元,被配置为获取水果图像作为训练集和测试集;
预处理单元,被配置为对训练集和测试集中的水果图像进行预处理:
对训练集和测试集中的水果图像进行灰度化处理,均值滤波处理和图片阈值化处理,得到所对应的水果图像的掩模模板;
提取单元,被配置为对训练集和测试集中的水果图像提取颜色特征,对训练集和测试集中的水果图像灰度化处理后的灰度图提取LBP纹理特征和形状特征;
直方图处理及融合单元,被配置为对每个水果图像对应的颜色特征和LBP纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征,得到训练集水果特征集合和测试集水果特征集合;
选取单元,被配置为将训练集水果特征集合作为多种可进行水果分类的分类器的输入,对多种可进行水果分类的分类器进行训练,将测试集水果特征集合作为多种可进行水果分类的分类器的输入,将平均分类准确率最高的分离器作为最佳分类器;
输出结果单元,被配置为将测试集水果特征集合作为最佳分类器的输入,得到输入的水果特征对应的水果图像中的水果类型;
所述训练集和所述测试集中的水果图像来源于kaggle平台提供的Fruits-360标准水果图像库,包含60种水果;
所述训练集包含28736张水果图像,所述测试集包含9673张水果图像,所述训练集和所述测试集中的水果图像大小均为100x100像素;
所述灰度化处理为利用Opencv开源库对训练集和测试集中的水果图像进行灰度化处理,将RGB颜色空间图片转化为灰度图;
所述均值滤波处理为对灰度图进行均值滤波处理,以减少灰度图中的噪点,所述均值滤波处理后输出的图像像素为核窗口内输入图像的平均值;
所述图片阈值化处理为利用阈值分割从所述均值滤波处理后输出的图像分割出水果部分,得到所对应的水果图像的掩模模板;
所述提取颜色特征为将RGB颜色空间图像转换为HSV颜色空间图像,并利用掩模模板,只对水果部分提取颜色特征,其中,H代表色调,S代表饱和度,V代表明度;
所述LBP纹理特征为均值模式LBP纹理特征;
所述形状特征为HU矩形状特征;
核函数为高斯核函数,惩罚项参数C为1000,核函数的系数gamam为0.1,多分类准则为ovr。
3.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时,执行权利要求1的方法。
4.一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器通过运行所述计算机程序执行权利要求1的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810738976.7A CN109002851B (zh) | 2018-07-06 | 2018-07-06 | 一种基于图像多特征融合的水果分类方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810738976.7A CN109002851B (zh) | 2018-07-06 | 2018-07-06 | 一种基于图像多特征融合的水果分类方法及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109002851A CN109002851A (zh) | 2018-12-14 |
CN109002851B true CN109002851B (zh) | 2021-04-02 |
Family
ID=64599399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810738976.7A Expired - Fee Related CN109002851B (zh) | 2018-07-06 | 2018-07-06 | 一种基于图像多特征融合的水果分类方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109002851B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815890A (zh) * | 2019-01-22 | 2019-05-28 | 绍兴文理学院 | 实现机器人舞蹈姿态自主审美理解与判断的*** |
CN109886904B (zh) * | 2019-01-25 | 2021-08-10 | 北京市遥感信息研究所 | 一种sar图像与低分辨率多光谱图像融合方法及*** |
CN110020604B (zh) * | 2019-03-11 | 2021-09-17 | 潍坊学院 | 一种蔬菜品质检测方法及*** |
CN110659676A (zh) * | 2019-09-09 | 2020-01-07 | 卓尔智联(武汉)研究院有限公司 | 一种信息处理方法、装置和存储介质 |
CN111539470A (zh) * | 2020-04-20 | 2020-08-14 | 重庆第二师范学院 | 图像处理方法、装置、计算机设备及存储介质 |
CN111965197B (zh) * | 2020-07-23 | 2023-04-07 | 广东工业大学 | 一种基于多特征融合的缺陷分类方法 |
CN111830988A (zh) * | 2020-07-29 | 2020-10-27 | 苏州科瓴精密机械科技有限公司 | 自动行走设备及其控制方法和***及可读存储介质 |
CN112784735B (zh) * | 2021-01-21 | 2021-10-01 | 重庆文理学院 | 基于单目相机与双目相机识别串型水果母枝的方法 |
CN114626895A (zh) * | 2022-04-01 | 2022-06-14 | 西南大学 | 基于机器视觉的草莓估价方法及远程采摘控制*** |
CN116386060B (zh) * | 2023-03-23 | 2023-11-14 | 浪潮智慧科技有限公司 | 一种水尺数据自动标注方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521616A (zh) * | 2011-12-28 | 2012-06-27 | 江苏大学 | 基于稀疏表示的行人检测方法 |
CN103116756A (zh) * | 2013-01-23 | 2013-05-22 | 北京工商大学 | 一种人脸检测与跟踪方法及装置 |
CN103698009A (zh) * | 2013-12-25 | 2014-04-02 | 北京农业智能装备技术研究中心 | 一种基于线扫描高光谱成像的多光谱图像获取方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8131066B2 (en) * | 2008-04-04 | 2012-03-06 | Microsoft Corporation | Image classification |
-
2018
- 2018-07-06 CN CN201810738976.7A patent/CN109002851B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521616A (zh) * | 2011-12-28 | 2012-06-27 | 江苏大学 | 基于稀疏表示的行人检测方法 |
CN103116756A (zh) * | 2013-01-23 | 2013-05-22 | 北京工商大学 | 一种人脸检测与跟踪方法及装置 |
CN103698009A (zh) * | 2013-12-25 | 2014-04-02 | 北京农业智能装备技术研究中心 | 一种基于线扫描高光谱成像的多光谱图像获取方法和*** |
Non-Patent Citations (1)
Title |
---|
基于多角度多区域特征融合的苹果分类方法;刘媛媛 等;《计算机应用》;20180510;1309-1314页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109002851A (zh) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109002851B (zh) | 一种基于图像多特征融合的水果分类方法及应用 | |
Liu et al. | A detection method for apple fruits based on color and shape features | |
Tan et al. | Recognising blueberry fruit of different maturity using histogram oriented gradients and colour features in outdoor scenes | |
Gonzalez et al. | Deepblueberry: Quantification of blueberries in the wild using instance segmentation | |
Khan et al. | An efficient contour based fine-grained algorithm for multi category object detection | |
CN106951899A (zh) | 基于图像识别的异常检测方法 | |
Li et al. | Cucumber detection based on texture and color in greenhouse | |
Mahendra et al. | Comparison of features for strawberry grading classification with novel dataset | |
Zhang et al. | Grasping point detection of randomly placed fruit cluster using adaptive morphology segmentation and principal component classification of multiple features | |
Font et al. | An image processing method for in-line nectarine variety verification based on the comparison of skin feature histogram vectors | |
CN110929787B (zh) | 一种基于图像的苹果客观定级*** | |
Jana et al. | Intra-class recognition of fruits using color and texture features with neural classifiers | |
Sihombing et al. | Chili Classification Using Shape and Color Features Based on Image Processing | |
Sindhi et al. | Quality evaluation of apple fruit: A Survey | |
Jolly et al. | Analyzing surface defects in apples using gabor features | |
Sujatha et al. | Enhancement of segmentation and feature fusion for apple disease classification | |
CN112257506A (zh) | 果蔬大小识别方法、装置、电子设备以及计算机可读介质 | |
Elhariri et al. | Random forests based classification for crops ripeness stages | |
Shweta et al. | External feature based quality evaluation of Tomato using K-means clustering and support vector classification | |
CN116229182A (zh) | 一种基于特征融合的小粒种咖啡缺陷生豆检测方法 | |
Septiarini et al. | Classifying the swallow nest quality using support vector machine based on computer vision | |
CN116363422A (zh) | 一种基于支持向量机的水果分类方法、***、计算机及存储介质 | |
CN110929788A (zh) | 食材识别方法、装置、存储介质及电子设备 | |
Raj et al. | Automatic defect identification and grading system for ‘Jonagold’apples | |
Sreekanth et al. | Fruit detection using improved K-means algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210402 |