CN111879735B - 一种基于图像的大米外观品质检测方法 - Google Patents

一种基于图像的大米外观品质检测方法 Download PDF

Info

Publication number
CN111879735B
CN111879735B CN202010710132.9A CN202010710132A CN111879735B CN 111879735 B CN111879735 B CN 111879735B CN 202010710132 A CN202010710132 A CN 202010710132A CN 111879735 B CN111879735 B CN 111879735B
Authority
CN
China
Prior art keywords
rice
image
rice grains
threshold value
adhesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010710132.9A
Other languages
English (en)
Other versions
CN111879735A (zh
Inventor
方圣辉
刘健
孔雨晨
龚龑
彭漪
王克险
朱仁山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010710132.9A priority Critical patent/CN111879735B/zh
Publication of CN111879735A publication Critical patent/CN111879735A/zh
Application granted granted Critical
Publication of CN111879735B publication Critical patent/CN111879735B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59Transmissivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59Transmissivity
    • G01N21/5907Densitometers
    • G01N2021/5976Image projected and scanning projected image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像的大米外观品质检测方法,该方法包括以下步骤:步骤1、采集米粒图像;步骤2、图像预处理与图像分割;步骤3、碎米粘连的识别与粘连米粒分割;步骤4、粒型和垩白参数提取;步骤5、垩白分类。本发明提出的算法对成像装置、光源、测量条件的要求不高,米粒可以随意撒放,不需要在意是否有碎米或者粘连,在不依赖于任何训练样本的情况下,可以自适应地提取大米的外观参数并对垩白进行分类,具有很高的便利性,大大地降低了米质测量的人力、时间和经济成本,同时也具有更高的客观与准确性。

Description

一种基于图像的大米外观品质检测方法
技术领域
本发明涉及遥感与农学的交叉领域,尤其涉及一种基于图像的大米外观品质检测方法。
背景技术
稻米是全世界主要的粮食来源之一,是全世界近一半和我国约三分之二的人口的主食。近年来,随着社会经济的发展,粮食供应的主要问题已经从“吃饱”转变为“吃好”,越来越多人把目光转向于提高大米的品质,而这依赖于米质检测技术的发展与进步。
传统的米质外观品质检测方法主要依靠人工。对于长宽的测量,典型的做法是选择10颗完整精米首尾相接排成直线后用直尺测量,除此以外还有利用游标卡尺、微粒子计等测量的。对于垩白参数的测量,传统做法是选择100颗整精米,在聚光灯下目视挑选出垩白米并计数,由此计算出垩白粒率;再从垩白米中选出10颗,目视估计每颗米的垩白大小,最后计算得到垩白度。可以看出,这些方法费时费力,效率较低,无法满足大批量快速测量的需要;且主观性较强,随机性大,精确度无法保证。
随着农产品品质无损检测技术的发展,基于机器视觉的自动测量越来越受到重视。这种方法具有无损、高效、准确与自动化的优点,能够大批量精确获取米质参数。该技术应用于杂交水稻育种中,可以扩大品种筛选范围,加速育种进程;应用于水稻功能基因组的解析中,可以提供大量精准的表型数据;用于生产实践,可以帮助粮食企业快速品质分级,优化生产管理,以及帮助农业部门监管粮食质量。
现有的研究缺乏对完整检测流程的设计与探讨。如何通过合理的数据采集方式、预处理方法和分析流程,使得测量过程低成本、简便、高效、准确是一个非常重要的问题。在一些具体的问题上,现有方法也有一些问题。在区分碎米与完整米方面,以往的研究思路基本上是形状特征+监督分类的方法,依赖于训练样本,但是米粒的形状***,因而训练样本的代表性和方法的实际泛化能力难以得到保证。对于粘连分割,已经有基于形态学腐蚀膨胀的方法、基于分水岭算法的方法以及基于粘连点检测与匹配的方法等。总的说来,对复杂粘连,现有方法准确度不够理想。在垩白分割方面,虽然方法很多,但是最为广泛使用的还是对米粒进行最小类内方差阈值分割,该方法大部分时候能获得良好的结果,但在垩白不明显和垩白面积很小等情况下不再适用。在垩白种类识别方面,目前研究很少,也都依赖于训练样本,同样存在泛化能力无法保证的问题。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于图像的大米外观品质检测方法。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种基于图像的大米外观品质检测方法,该方法包括以下步骤:
步骤1、采集图像:将待检测的米粒置于灯板表面,在灯板上方设置相机,通过灯板发光透射米粒,相机采集透射成像的图像;
步骤2、图像预处理与图像分割:对采集的米粒透射图像进行预处理,预处理过程包括:相机内参数和外参数的获取、图片灰度化、畸变纠正、正射纠正、图像去噪、图像反色、不均匀背景去除和边界物体去除;预处理后,用最大类间方差法进行自适应阈值分割,将图像分割为米粒和背景;对分割后的图像,得到所有孔洞并将面积小于一定阈值的孔洞填充,然后进行连通性分析,并将面积小于一定阈值的连通分量删去;
步骤3、碎米粘连的识别与粘连米粒分割:利用自适应长度阈值识别碎米,利用自适应凹度阈值识别粘连,将米粒分为单粒的整精米和粘连米粒;对粘连米粒的边缘进行曲率分析提取粘连点,利用角度加权最小距离法匹配粘连点得到分割线,通过分割线对粘连米粒进行分割,分割后的米粒为碎米;
步骤4、粒型和垩白参数提取:用最小外接矩形的方法提取米粒的粒长、粒宽,并用粒长除以粒宽得到长宽比;对米粒的垩白进行分割,并计算垩白粒率和垩白度,整精米中有垩白的米粒数量占全部米粒数量的百分率为垩白粒率,整精米中垩白面积占总面积的百分率为垩白度;
步骤5、垩白分类:对含有垩白的米粒用自适应分割法确定胚的位置,根据胚的位置将垩白分为腹白、心白和背白,得到米粒的外观品质分类。
进一步地,本发明的步骤1的具体方法为:
以LED灯板作为光源,灯板的表面作为测量平面,将待检测的米粒置于灯板表面,用三脚架在灯板的上部固定一个单反相机,通过灯板发光透射米粒,单反相机采集透射成像的图像;在拍摄前,拍摄多张不同姿态的棋盘定标板照片,并拍摄一张放置在灯板表面的棋盘纸,用于进行相机标定;整个拍摄过程固定焦距与对焦,并保证相机的曝光时间、感光度、光圈大小固定。
进一步地,本发明的步骤2中预处理的具体方法为:
步骤2.1、相机参数获取:包括内参和外参,用来建立相机的成像方程;内参包括内参矩阵和畸变系数,通过相机标定获取,这个过程中要用到20张棋盘标定板图像,在数据采集时已经获取,将其导入MATLAB中的相机标定模块,即可输出标定结果;外参利用数据采集时拍摄的棋盘纸图像,求解得到旋转矩阵R和平移向量T;
步骤2.2、图片灰度化:使用的灰度化公式为Gray=0.2989R+0.5870G+0.1140B,式中Gray代表灰度值,R、G、B分别代表彩色图像红绿蓝三波段的灰度值;
步骤2.3、畸变纠正:根据3个径向畸变系数和2个切向畸变系数,计算畸变前图像的每个像素在畸变后的图像上的位置,再插值得到像素灰度,获取畸变前的图像,即畸变纠正后的图像;
步骤2.4、正射纠正:确定正射影像的实际坐标范围,分辨率GSD取0.05mm,将范围内每一个实际点反投影到图像上,插值得到灰度,由此得到正射影像;
步骤2.5、滤波去噪:采用窗口大小为5×5的中值滤波对图像进行去噪;
步骤2.6、反色:透射成像使得背景比米粒亮,将图像明暗翻转,公式为Iinv=255-I,式中I表示反色前的图像,Iinv表示反色后的图像;
步骤2.7、用顶帽变换去除背景的不均匀性:用一个大的结构元对图像进行灰度图像开运算,即先腐蚀再膨胀,得到背景照度的估计,再用原图减去这个图像;
步骤2.8、去除边界物体,边界的亮目标用形态学灰度重建进行去除;以边界像素做标记,以原图做掩模,进行形态学灰度重建运算,再用原图减去重建结果。
进一步地,本发明的步骤2中分割的具体方法为:
步骤2.9、阈值分割:用最大类间方差法进行阈值分割;设选定的阈值为T,对图像按照灰度小于等于T和大于T分成两类,分别是背景和前景;设其像素数分别为N0,N1;灰度均值分别为μ0,μ1;图像像素总数为N,均值为μ;则类间方差的定义为
Figure GDA0003271807030000041
对所有灰度级,计算以这个灰度级为阈值的类间方差,找到类间方差最大时对应的灰度级,作为最优阈值;设最优阈值为Tm,对应的类间方差为S(Tm),图像的方差为S,则分割的有效性为
Figure GDA0003271807030000042
步骤2.10、分割后处理,以内边缘为标记,原二值图的补集为掩模,进行形态学重建,得到孔洞,保留面积小于100像素的孔洞,并在原二值图上将这些孔洞填充,对二值图像连通分析,将面积小于400像素的连通对象删去。
进一步地,本发明的步骤3的具体方法为:
步骤3.1、碎米识别:以不同的长度值为中心,统计上下一定范围的区间内的米粒数量,数量最多的那个区间的米粒的长度平均值作为完整米粒长度平均值,其四分之三作为区分碎米和整精米的长度阈值;小于此阈值则为碎米,大于此阈值则为非碎米;
步骤3.2、粘连识别:对非碎米定义凹度,即一个连通对象的凸包与原连通对象的面积之差与原连通对象的面积之比,通过非碎米的凹度和面积的平均值加上若干倍的平均偏差得到凹度阈值和面积阈值,非碎米中凹度大于凹度阈值或者面积大于面积阈值的就是粘连,否则是单颗的整精米;
步骤3.3、粘连分割:对于粘连米粒,提取边缘并用Savitzky-Golay滤波器进行滤波平滑,计算每一个点的曲率,对于外边缘检测曲率的负极小值点,对于内边缘检测曲率的正极大值点,得到一组粘连点;对每个粘连点,用其曲率中心与粘连点连线的方向向量作为粘连方向;匹配过程中:
计算粘连点两两之间的距离,得到距离矩阵D;计算粘连点两两之间粘连方向的夹角的补角,得到角度矩阵A;定义匹配矩阵Q,它代表了点对之间的角度加权距离,置其初始值为D;首先淘汰不可能的匹配,选取粘连点作为特征点,根据两特征点粘连方向的夹角不能是锐角、两特征点距离不能超过完整米粒平均长度、特征点不与自己匹配这三个淘汰规则,更新匹配矩阵Q,更新方法如下式:
Qi,j=inf,ifi=jorDi,j>l*orAi,j≥90°,i,j=1,2…M
式中l*表示完整米粒平均长度,M表示粘连点的数量;然后用夹角的角度对距离进行加权,角度越接近180°,代表这个点对越有可能是匹配点对,则对距离的权值越小,否则越大,由于A是夹角的补角,因此权的公式为:
Figure GDA0003271807030000051
Figure GDA0003271807030000052
表示向下取整,返回值为不大于x的最大整数,ΔA为角度间隔,利用角度加权距离公式Qi,j-Qi,j×Wi,j更新Q,此时Q即是角度加权距离矩阵。接着以角度加权距离最小为原则,对特征点进行唯一性匹配,即遍历Q找到所有点对中角度加权距离最小的点对,将它们记为匹配点对后,这两个点不再与其它点匹配,如此循环,并将匹配到的点对连接起来得到分割线。最后将孤立的匹配点沿着粘连方向进行延长画分割线,直到碰到背景或者已有分割线为止。
进一步地,本发明的步骤4的具体方法为:
分割垩白的过程中,先用灰度变换增强明暗对比,然后计算每一颗米的一致性系数,并选择出一致性系数最低的一部分米,最后对这一部分米统计灰度分布直方图,用最小类内方差和最小类内绝对差两种方法确定阈值,并用有效性指数作为权进行加权平均得到最终的阈值,大于此阈值的像素为垩白,否则为非垩白;整精米中有垩白的米粒数量占全部米粒数量的百分率为垩白粒率,整精米中垩白面积占总面积的百分率为垩白度。
进一步地,本发明的步骤4中具体的计算公式为:
一致性系数的计算公式为:
Figure GDA0003271807030000061
其中,U表示一致性系数,p(i),i=0,1,2,…N,p(i)表示灰度级为i的像素数量与全部像素数量之比;
设选定的阈值为T,像素按照灰度小于等于T和大于T分成两类,其均值分别为μ0(T),μ1(T),则此时类内绝对差的定义为:
Figure GDA0003271807030000062
对所有灰度级,计算以这个灰度级为阈值的类内绝对差,找到类内绝对差最小时对应的灰度级作为最优阈值;
设最优阈值为Tm,全部像素的均值为μ;此阈值分割的有效性为:
Figure GDA0003271807030000063
用最小类内绝对差和最小类内方差算法选取阈值,分别为T1,T2,计算分割有效性分别为em1,em2;则最终的阈值为:
Figure GDA0003271807030000064
大于最终阈值的像素为垩白,否则为非垩白。
进一步地,本发明的步骤5的具体方法为:
将米粒旋转至水平,计算各个位置的宽度,计算最大宽度与各个位置的宽度的差值,差值小于或等于一定阈值则为米粒的尖头,提取米粒的两个尖头,并通过米粒的左右两个尖端,将两个尖头分别分成上下两部分,即分为每个尖头的上下两部分,共四个部分;最后计算四个部分的米粒面积占比,最小的为胚位置的所在,靠近胚位置的长边为基线;计算垩白像素与基线的距离,若在0到宽度的三分之一之间,则是腹白;若在宽度的三分之一到三分之二之间,则是心白,若在宽度的三分之二到宽度之间,则是背白。
本发明产生的有益效果是:本发明的基于图像的大米外观品质检测方法,搭建了一套完整的外观参数提取方案,提出的算法对成像装置、光源、测量设备的要求不高,米粒可以随意撒放,不需要在意是否有碎米或者粘连,在不依赖于任何训练样本的情况下,可以自适应地提取大米的外观参数并对垩白进行分类,具有很高的便利性,大大地降低了米质测量的人力、时间和经济成本,同时也具有更高的客观与准确性。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的外观参数测量方法方法的流程图。
图2是本发明设计的图像采集装置的示意图。
图3是本发明实施例的预处理效果图,(a)原始图像,(b)畸变纠正后,(c)正射纠正后,(d)去噪、反色、去除不均匀背景并去除边界亮目标后。
图4是本发明实施例的分割后处理示意图,(a)小孔洞填充前,(b)小孔洞填充后,(c)杂点去除前,(d)杂点去除后。
图5是本发明实施例的碎米识别原理示意图,(a)不同长度为中心的上下一定范围内的米粒数量,(b)长度阈值。
图6是本发明实施例的凹度计算示意图,(a)粘连米粒二值图像,(b)凸包,(c)凸包与原二值图像的差。
图7是本发明实施例的碎米粘连识别效果图。
图8是本发明实施例的粘连点检测示意图,(a)边缘平滑前后细节对比图,(b)检测到的粘连点,(c)外边缘的粘连点的曲率,(d)内边缘上粘连点的曲率。
图9是本发明实施例的粘连方向计算示意图。
图10是本发明实施例的粘连分割示意图,(a)连接匹配点对形成的分割线,(b)分割结果。
图11是本发明实施例对圆粒米的粘连分割效果图,(a)原始图片,(b)预处理与粘连分割以后。
图12是本发明实施例对长粒米的粘连分割效果图,(a)原始图片,(b)预处理与粘连分割以后。
图13是本发明实施例的粒型提取效果图。
图14是本发明实施例的灰度变换函数示意图。
图15是本发明实施例的垩白分割中灰度变换和利用一致性系数选择部分米后的灰度分布直方图的对比图,(a)原图像所有整精米,(b)灰度变换后图像所有整精米,(c)灰度变换后图像基于一致性系数选择出的部分整精米。
图16是本发明实施例的垩白分割效果图,(a)原始图,(b)简单最小类内方差阈值分割,(c)本文方法。
图17是本发明提出的识别胚位置的自适应分割法的原理示意图,(a)原始二值图,(b)水平二值图,(c)自适应分割,(d)识别结果。
图18是本发明实施例的垩白种类识别效果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明实施例的基于图像的大米外观品质检测方法,通过计算机软件技术实现流程,参见图1。实施例以62种大米的外观参数测量为例,对本发明的流程进行一个具体的阐述,如下:
步骤1,采集图像。
图像采集装置如图2所示。下方的LED平板灯作为光源,尺寸为30cm×30cm,输入电压为220伏,功率为10瓦,灯板的表面即是测量平面,有效面积约为25cm×25cm。图像采集设备为一个消费级单反相机,具体型号是Cannon EOS 7D,图像大小为5184×3456。米粒撒在测量平面上后,相机就会采集图像。三角架用来在拍摄的过程中固定相机的位置与姿态。该成像装置对于光源、相机和测量环境均无特殊要求。
具体采集步骤如下:
步骤1.1,调整相机曝光参数。每次拍摄之前,先放若干米样至测量平面,调整相机与测量平面的距离和焦距,保证整个平面都在视野中。同时仔细调整相机的曝光时间、感光度、光圈大小以及对焦,保证拍摄得到的图像各处清晰,色调正常,垩白区域明显。后续拍摄大米时固定所有参数不变。
步骤1.2,拍摄棋盘标定板。所用的棋盘标定板为高群精密量具生产的GP290黑白棋盘格标定板。单个棋盘格大小为2cm×2cm,棋盘格尺寸为12行9列,标称精度为0.01mm。拍摄时使相机到标定板的距离与上一步中相机到大米测量平面的距离相近,得到不同角度的图像20张左右。
步骤1.3,拍摄棋盘纸。用一张薄的棋盘纸,样式类似于棋盘标定板,铺在测量平面上,拍摄照片。用来计算相机的外参数。步骤1.2和这一步中,除焦距和对焦需要固定外,其他参数可做适当调整。
步骤1.4,放置大米。将大米随意撒在测量平面上,但是要尽量保证大米互相之间没有垂直方向上的堆叠。
步骤1.5,拍摄大米图像。按下快门,拍摄米粒的图像,每次实验过程确保相机与测量平面之间的相对位置不变。
步骤2,预处理与图像分割。
预处理过程包括8步。部分处理效果如图3所示。
步骤2.1,相机参数获取。包括内参和外参,用来建立相机的成像方程。内参包括内参矩阵和畸变系数,通过相机标定获取,这个过程中要用到20张左右的棋盘标定板图像,在数据采集时已经获取,将其导入MATLAB中的相机标定模块,即可输出标定结果。外参利用数据采集时拍摄的棋盘纸图像,求解得到旋转矩阵R和平移向量T。
步骤2.2,图片灰度化。使用的灰度化公式为:
Gray=0.2989R+0.5870G+0.1140B,式中Gray代表灰度值,R、G、B分别代表彩色图像红绿蓝三波段的灰度值。
步骤2.3,畸变纠正。根据3个径向畸变系数和2个切向畸变系数,计算畸变前图像的每个像素在畸变后的图像上的位置,再插值得到像素灰度,就可以获取畸变前的图像,即畸变纠正后的图像。
步骤2.4,正射纠正。米粒的厚度与拍摄距离相比很小,所以将整个测量平面和米粒看成一个平面。确定正射影像的实际坐标范围,分辨率GSD取0.05mm。将范围内每一个实际点反投影到图像上,插值得到灰度。由此得到正射影像。
步骤2.5,滤波去噪。采用窗口大小为5×5的中值滤波对图像进行去噪。
步骤2.6,反色。透射成像使得背景比米粒亮,为了便于观察,将图像明暗翻转。所用公式为Iinv=255-I,式中I表示反色前的图像,Iinv表示反色后的图像。
步骤2.7,用顶帽变换可以去除背景的不均匀性。其过程就是用一个大的结构元对图像进行灰度图像开运算(先腐蚀再膨胀),得到背景照度的估计,再用原图减去这个图像。
步骤2.8,去除边界物体,边界的亮目标用形态学灰度重建进行去除。以边界像素做标记,以原图做掩模,进行形态学灰度重建运算,再用原图减去重建结果。
图像分割包括2步。
步骤2.9,阈值分割。用最大类间方差法进行阈值分割。设选定的阈值为T,对图像按照灰度小于等于T和大于T分成两类,分别是背景和前景。设其像素数分别为n0,N1;灰度均值分别为μ0,μ1;图像像素总数为N,均值为μ。则类间方差的定义为
Figure GDA0003271807030000101
对所有灰度级,计算以这个灰度级为阈值的类间方差,找到类间方差最大时对应的灰度级,作为最优阈值。设最优阈值为Tm,对应的类间方差为S(Tm),图像的方差为S,则分割的有效性为
Figure GDA0003271807030000102
步骤2.10,分割后处理,示意图如图4所示。以内边缘为标记,原二值图的补集为掩模,进行形态学重建,得到孔洞,保留面积小于100像素的孔洞,并在原二值图上将这些孔洞填充。对二值图像连通分析,将面积小于400像素的连通对象删去。
步骤3,碎米粘连的识别与粘连米粒分割。
步骤3.1,碎米识别。从连通对象的最小长度到最大长度之间,选择不同的长度值为中心,统计上下0.5mm范围的区间内的米粒数量,数量最多的那个区间的米粒的长度平均值作为完整米粒长度平均值,其四分之三作为区分碎米和整精米的长度阈值。小于此阈值则为碎米,大于此阈值则为非碎米。算法示意图如图5所示。
步骤3.2,粘连识别。对非碎米定义凹度,即一个连通对象的凸包与原连通对象的面积之差与原连通对象的面积之比,通过非碎米的凹度和面积的平均值加上3倍的平均偏差得到凹度阈值和面积阈值,非碎米中凹度大于凹度阈值或者面积大于面积阈值的就是粘连,否则是单颗的整精米。凹度示意图如图6所示,识别结果如图7所示。
步骤3.3,粘连分割。对于粘连米粒,提取边缘并用Savitzky-Golay滤波器进行滤波平滑,多项式次数为2,窗口大小为21。计算每一个点的曲率,对于外边缘检测曲率小于-0.1的极小值点,对于内边缘检测曲率大于0.1的极大值点,得到一组粘连点,过程如图8所示。对每个粘连点,用其曲率中心与粘连点连线的方向向量作为粘连方向,如图9所示。匹配过程中,计算粘连点两两之间的距离,得到距离矩阵D;计算粘连点两两之间粘连方向的夹角的补角,得到角度矩阵A。定义匹配矩阵Q,它代表了点对之间的角度加权距离,置其初始值为D。首先淘汰不可能的匹配,根据两特征点粘连方向的夹角不能是锐角、两特征点距离不能超过完整米粒平均长度、特征点不与自己匹配这三个淘汰规则,更新Q,更新方法如下式:
Qi,j=inf,ifi=jorDi,j>l*orAi,j≥90°,i,j=1,2…M
式中l*表示完整米粒平均长度,M表示粘连点的数量。然后用夹角的角度对距离进行加权,角度越接近180°,则对距离的权值越小,否则越大,权的公式为
Figure GDA0003271807030000121
Figure GDA0003271807030000122
表示向下取整,返回值为不大于x的最大整数,ΔA为角度间隔,取10°。角度加权距离公式为Qi,j=Qi,j×Wi,j。接着以角度加权距离最小为原则,对特征点进行唯一性匹配,即找到所有点对中角度加权距离最小的点对,将它们匹配后,不再与其他点匹配,如此循环。匹配到的点连接起来得到分割线。最后将孤立的匹配点沿着粘连方向进行延长画分割线,直到碰到背景或者已有分割线为止。分割过程如图10所示,对圆粒米和长粒米的分割结果如图11和图12所示。
步骤4,粒型和垩白参数提取。
步骤4.1,粒型参数提取。对每一颗米,找到距离图像质心最远的点,连接得到概略长轴,将概略长轴旋转至与图像x轴水平。将米粒旋转-45°、-44°、……、44°、45°,每个角度旋转结束后,计算边缘点的外接矩形的面积(横纵坐标的最大值与最小值之差的积)。面积最小的外接矩形就是最优外接矩形,其长和宽就是米粒的粒长和粒宽,对一个品种来说,所有完整米粒的粒长和粒宽的平均值为这品种的粒长和粒宽,粒长除以粒宽得到长宽比。提取结果如图13所示。
步骤4.2,垩白分割。这个过程只考虑整精米。用灰度变换增强明暗对比,变换函数的输入输出为归一化灰度,即将原始灰度缩放到0-1之间,变换函数是一个三次样条插值函数,设为f(x),插值点为(0,0),(0.25,0.125),(0.5,0.5),(0.75,0.875),(1,1),边界条件为f’(0)=0,f’(1)=0。变换函数如图14所示。统计每一颗米的灰度分布直方图并计算一致性系数,公式为
Figure GDA0003271807030000123
选择出一致性系数最低的20%的米统计灰度分布直方图,不同方法得到的直方图如图15所示。用最大类间方差和最小类内绝对差两种方法确定阈值,后者过程为:将灰度分布直方图归一化成灰度的概率密度函数p(i),i=0,1,2,...N,p(i)表示灰度级为i的像素数量与全部像素数量之比。设选定的阈值为T,像素按照灰度小于等于T和大于T分成两类,其均值分别为μ0(T),μ1(T),则此时类内绝对差的定义为
Figure GDA0003271807030000131
对所有灰度级,计算以这个灰度级为阈值的类内绝对差,找到类内绝对差最小时对应的灰度级作为最优阈值。设最优阈值为Tm,全部像素的均值为μ。此阈值分割的有效性为
Figure GDA0003271807030000132
用最小类内绝对差和最小类内方差算法选取阈值,分别为T1,T2,计算分割有效性分别为em1,em2。则最终的阈值
Figure GDA0003271807030000133
大于此阈值的像素为垩白,否则为非垩白。若一颗米的垩白面积小于同批次整精米面积的1/20,则将它的垩白去除。小垩白情况下的局部分割结果如图16所示。
步骤4.3,垩白参数计算。整精米中有垩白的米粒数量占全部米粒数量的百分率为垩白粒率,整精米中垩白面积占总面积的百分率为垩白度。
步骤5,垩白分类。将米粒旋转至水平,计算各个位置的宽度,从中间往两边搜索,宽度与最大宽度的差值大于3像素时停止,则从这个位置到各自两端为米粒的两个尖头,通过米粒的左右两个尖端,将两个尖头分别分成上下两部分。最后计算四个部分的米粒面积占比,最小的为胚位置的所在。靠近胚位置的最小外接矩形的长边为基线。计算垩白像素与基线的距离,若在0到宽度的三分之一之间,则是腹白;若在宽度的三分之一到三分之二之间,则是心白,若在宽度的三分之二到宽度之间,则是背白。算法示意图如图17所示,结果如图18所示。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于图像的大米外观品质检测方法,其特征在于,该方法包括以下步骤:
步骤1、采集图像:将待检测的米粒置于灯板表面,在灯板上方设置相机,通过灯板发光透射米粒,相机采集透射成像的图像;
步骤2、图像预处理与图像分割:对采集的米粒透射图像进行预处理,预处理过程包括:相机内参数和外参数的获取、图片灰度化、畸变纠正、正射纠正、图像去噪、图像反色、不均匀背景去除和边界物体去除;预处理后,用最大类间方差法进行自适应阈值分割,将图像分割为米粒和背景;对分割后的图像,得到所有孔洞并将面积小于一定阈值的孔洞填充,然后进行连通性分析,并将面积小于一定阈值的连通分量删去;
步骤3、碎米粘连的识别与粘连米粒分割:利用自适应长度阈值识别碎米,利用自适应凹度阈值识别粘连,将米粒分为单粒的整精米和粘连米粒;对粘连米粒的边缘进行曲率分析提取粘连点,利用角度加权最小距离法匹配粘连点得到分割线,通过分割线对粘连米粒进行分割,分割后的米粒为碎米;
步骤3的具体方法为:
步骤3.1、碎米识别:以不同的长度值为中心,统计上下一定范围的区间内的米粒数量,数量最多的那个区间的米粒的长度平均值作为完整米粒长度平均值,其四分之三作为区分碎米和整精米的长度阈值;小于此阈值则为碎米,大于此阈值则为非碎米;
步骤3.2、粘连识别:对非碎米定义凹度,即一个连通对象的凸包与原连通对象的面积之差与原连通对象的面积之比,通过非碎米的凹度和面积的平均值加上若干倍的平均偏差得到凹度阈值和面积阈值,非碎米中凹度大于凹度阈值或者面积大于面积阈值的就是粘连,否则是单颗的整精米;
步骤3.3、粘连分割:对于粘连米粒,提取边缘并用Savitzky-Golay滤波器进行滤波平滑,计算每一个点的曲率,对于外边缘检测曲率的负极小值点,对于内边缘检测曲率的正极大值点,得到一组粘连点;对每个粘连点,用其曲率中心与粘连点连线的方向向量作为粘连方向;匹配过程中:
计算粘连点两两之间的距离,得到距离矩阵D;计算粘连点两两之间粘连方向的夹角的补角,得到角度矩阵A;定义匹配矩阵Q,它代表了点对之间的角度加权距离,置其初始值为D;首先淘汰不可能的匹配,选取粘连点作为特征点,根据两特征点粘连方向的夹角不能是锐角、两特征点距离不能超过完整米粒平均长度、特征点不与自己匹配这三个淘汰规则,更新匹配矩阵Q,更新方法如下式:
Qi,j=inf,if i=j or Di,j>l* or Ai,j≥90°,i,j=1,2...M
式中l*表示完整米粒平均长度,M表示粘连点的数量;然后用夹角的角度对距离进行加权,角度越接近180°,代表这个点对越有可能是匹配点对,则对距离的权值越小,否则越大,由于A是夹角的补角,因此权的公式为:
Figure DEST_PATH_FDA0002596230940000041
Figure FDA0003271807020000022
表示向下取整,返回值为不大于x的最大整数,ΔA为角度间隔;利用角度加权距离公式Qi,j=Qi,j×Wi,j更新Q;此时Q即为淘汰不可能匹配后的角度加权距离矩阵;接着以角度加权距离最小为原则,对特征点进行唯一性匹配,即遍历Q找到所有点对中角度加权距离最小的点对,将它们记为匹配点对后,这两个点不再与其它点匹配,如此循环;匹配到的点连接起来得到分割线;最后将孤立的匹配点沿着粘连方向进行延长画分割线,直到碰到背景或者已有分割线为止;
步骤4、粒型和垩白参数提取:用最小外接矩形的方法提取米粒的粒长、粒宽,并用粒长除以粒宽得到长宽比;对米粒的垩白进行分割,并计算垩白粒率和垩白度,整精米中有垩白的米粒数量占全部米粒数量的百分率为垩白粒率,整精米中垩白面积占总面积的百分率为垩白度;
步骤5、垩白分类:对含有垩白的米粒用自适应分割法确定胚的位置,根据胚的位置将垩白分为腹白、心白和背白,得到米粒的外观品质分类。
2.根据权利要求1所述的基于图像的大米外观品质检测方法,其特征在于,步骤1的具体方法为:
以LED灯板作为光源,灯板的表面作为测量平面,将待检测的米粒置于灯板表面,用三脚架在灯板的上部固定一个单反相机,通过灯板发光透射米粒,单反相机采集透射成像的图像;在拍摄前,拍摄多张不同姿态的棋盘定标板照片,并拍摄一张放置在灯板表面的棋盘纸,用于进行相机标定;整个拍摄过程固定焦距与对焦,并保证相机的曝光时间、感光度、光圈大小固定。
3.根据权利要求1所述的基于图像的大米外观品质检测方法,其特征在于,步骤2中预处理的具体方法为:
步骤2.1、相机参数获取:包括内参和外参,用来建立相机的成像方程;内参包括内参矩阵和畸变系数,通过相机标定获取,这个过程中要用到20张棋盘标定板图像,在数据采集时已经获取,将其导入MATLAB中的相机标定模块,即可输出标定结果;外参利用数据采集时拍摄的棋盘纸图像,求解得到旋转矩阵R和平移向量T;
步骤2.2、图片灰度化:使用的灰度化公式为Gray=0.2989R+0.5870G+0.1140B,式中Gray代表灰度值,R、G、B分别代表彩色图像红绿蓝三波段的灰度值;
步骤2.3、畸变纠正:根据3个径向畸变系数和2个切向畸变系数,计算畸变前图像的每个像素在畸变后的图像上的位置,再插值得到像素灰度,获取畸变前的图像,即畸变纠正后的图像;
步骤2.4、正射纠正:确定正射影像的实际坐标范围,分辨率GSD取0.05mm,将范围内每一个实际点反投影到图像上,插值得到灰度,由此得到正射影像;
步骤2.5、滤波去噪:采用窗口大小为5×5的中值滤波对图像进行去噪;
步骤2.6、反色:透射成像使得背景比米粒亮,将图像明暗翻转,公式为Iinv=255-I,式中I表示反色前的图像,Iinv表示反色后的图像;
步骤2.7、用顶帽变换去除背景的不均匀性:用一个大的结构元对图像进行灰度图像开运算,即先腐蚀再膨胀,得到背景照度的估计,再用原图减去这个图像;
步骤2.8、去除边界物体,边界的亮目标用形态学灰度重建进行去除;以边界像素做标记,以原图做掩模,进行形态学灰度重建运算,再用原图减去重建结果。
4.根据权利要求3所述的基于图像的大米外观品质检测方法,其特征在于,步骤2中分割的具体方法为:
步骤2.9、阈值分割:用最大类间方差法进行阈值分割;设选定的阈值为T,对图像按照灰度小于等于T和大于T分成两类,分别是背景和前景;设其像素数分别为N0,N1;灰度均值分别为μ0,μ1;图像像素总数为N,均值为μ;则类间方差的定义为
Figure DEST_PATH_FDA0002596230940000031
对所有灰度级,计算以这个灰度级为阈值的类间方差,找到类间方差最大时对应的灰度级,作为最优阈值;设最优阈值为Tm,对应的类间方差为S(Tm),图像的方差为S,则分割的有效性为
Figure DEST_PATH_FDA0002596230940000032
步骤2.10、分割后处理,以内边缘为标记,原二值图的补集为掩模,进行形态学重建,得到孔洞,保留面积小于100像素的孔洞,并在原二值图上将这些孔洞填充,对二值图像连通分析,将面积小于400像素的连通对象删去。
5.根据权利要求1所述的基于图像的大米外观品质检测方法,其特征在于,步骤4的具体方法为:
分割垩白的过程中,先用灰度变换增强明暗对比,然后计算每一颗米的一致性系数,并选择出一致性系数最低的一部分米,最后对这一部分米统计灰度分布直方图,用最小类内方差和最小类内绝对差两种方法确定阈值,并用有效性指数作为权进行加权平均得到最终的阈值,大于此阈值的像素为垩白,否则为非垩白;整精米中有垩白的米粒数量占全部米粒数量的百分率为垩白粒率,整精米中垩白面积占总面积的百分率为垩白度。
6.根据权利要求5所述的基于图像的大米外观品质检测方法,其特征在于,步骤4中具体的计算公式为:
一致性系数的计算公式为:
Figure FDA0003271807020000051
其中,U表示一致性系数,p(i),i=0,1,2,…N,p(i)表示灰度级为i的像素数量与全部像素数量之比;
设选定的阈值为T,像素按照灰度小于等于T和大于T分成两类,其均值分别为μ0(T),μ1(T),则此时类内绝对差的定义为:
Figure DEST_PATH_FDA0002596230940000052
对所有灰度级,计算以这个灰度级为阈值的类内绝对差,找到类内绝对差最小时对应的灰度级作为最优阈值;
设最优阈值为Tm,全部像素的均值为μ;此阈值分割的有效性为:
Figure DEST_PATH_FDA0002596230940000053
用最小类内绝对差和最小类内方差算法选取阈值,分别为T1,T2,计算分割有效性分别为em1,em2;则最终的阈值为:
Figure DEST_PATH_FDA0002596230940000054
大于最终阈值的像素为垩白,否则为非垩白。
7.根据权利要求1所述的基于图像的大米外观品质检测方法,其特征在于,步骤5的具体方法为:
将米粒旋转至水平,计算各个位置的宽度,计算最大宽度与各个位置的宽度的差值,差值小于或等于一定阈值则为米粒的尖头,提取米粒的两个尖头,并通过米粒的左右两个尖端,将两个尖头分别分成上下两部分,即分为每个尖头的上下两部分,共四个部分;最后计算四个部分的米粒面积占比,最小的为胚位置的所在,靠近胚位置的长边为基线;计算垩白像素与基线的距离,若在0到宽度的三分之一之间,则是腹白;若在宽度的三分之一到三分之二之间,则是心白,若在宽度的三分之二到宽度之间,则是背白。
CN202010710132.9A 2020-07-22 2020-07-22 一种基于图像的大米外观品质检测方法 Expired - Fee Related CN111879735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010710132.9A CN111879735B (zh) 2020-07-22 2020-07-22 一种基于图像的大米外观品质检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010710132.9A CN111879735B (zh) 2020-07-22 2020-07-22 一种基于图像的大米外观品质检测方法

Publications (2)

Publication Number Publication Date
CN111879735A CN111879735A (zh) 2020-11-03
CN111879735B true CN111879735B (zh) 2021-11-09

Family

ID=73155915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010710132.9A Expired - Fee Related CN111879735B (zh) 2020-07-22 2020-07-22 一种基于图像的大米外观品质检测方法

Country Status (1)

Country Link
CN (1) CN111879735B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486849A (zh) * 2021-07-27 2021-10-08 哈尔滨工业大学 一种鉴定空间诱变水稻表型变化的方法
CN113776996A (zh) * 2021-07-28 2021-12-10 深圳市麦稻智联科技有限公司 一种大米外观检测***及方法
CN114565566A (zh) * 2022-02-14 2022-05-31 常州市新创智能科技有限公司 一种捆绑纱宽度检测方法、装置、设备及存储介质
CN115511803B (zh) * 2022-09-15 2023-06-27 合肥安杰特光电科技有限公司 一种大米碎米检测方法和***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194823A (ja) * 2000-01-14 2001-07-19 Fuji Xerox Co Ltd フルカラー電子写真用トナー、フルカラー電子写真用現像剤、および、画像形成方法
US9042263B1 (en) * 2007-04-06 2015-05-26 Netapp, Inc. Systems and methods for comparative load analysis in storage networks
CN101281112A (zh) * 2008-04-30 2008-10-08 浙江理工大学 一种对网状粘连稻米的图像式自动分析方法
CN102273189A (zh) * 2008-10-31 2011-12-07 惠普开发有限公司 用于利用归一化品质因数选择聚焦设置的方法以及数字成像设备
CN103674816B (zh) * 2013-12-25 2016-05-11 浙江工商大学 垩白米粒检测方法及***
CN104458747A (zh) * 2014-12-22 2015-03-25 扬州大学 一种水稻垩白测算方法
CN105319223B (zh) * 2015-12-07 2018-03-20 浙江工商大学 一种垩白米的检测方法和检测***
CN107240088A (zh) * 2016-12-07 2017-10-10 浙江工商大学 粘连米粒的检测分割方法、***以及装置
CN110610183A (zh) * 2018-06-15 2019-12-24 佛山市顺德区美的电热电器制造有限公司 谷物评估方法、装置和存储介质
CN109459392B (zh) * 2018-11-06 2019-06-14 南京农业大学 一种基于无人机多光谱影像的水稻地上部生物量估测方法

Also Published As

Publication number Publication date
CN111879735A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111879735B (zh) 一种基于图像的大米外观品质检测方法
US20220148213A1 (en) Method for fully automatically detecting chessboard corner points
CN112818988B (zh) 一种指针式仪表自动识别读数方法及***
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
Quelhas et al. Cell nuclei and cytoplasm joint segmentation using the sliding band filter
CN110517265B (zh) 一种产品表面缺陷的检测方法、装置及存储介质
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN103164692B (zh) 一种基于计算机视觉的特种车辆仪表自动识别***及方法
CN108765433A (zh) 一种用于提高精度的多叶面积测量方法
CN116030060B (zh) 一种塑料颗粒质量检测方法
CN110490826B (zh) 一种照相机中雾滴样本图像处理方法
CN109829906A (zh) 一种基于方向场与纹理特征的工件缺陷检测与分类方法
CN113608378B (zh) 一种基于lcd制程的全自动缺陷检测方法和***
CN106127205A (zh) 一种适用于室内轨道机器人的数字仪表图像的识别方法
CN113066064B (zh) 基于人工智能的锥束ct图像生物结构识别及三维重建***
CN111612846A (zh) 基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法
CN115018844A (zh) 一种基于人工智能的塑料薄膜质量评估方法
CN114758222B (zh) 一种基于PointNet++神经网络混凝土管道损伤识别与体积量化方法
CN115908774B (zh) 一种基于机器视觉的变形物资的品质检测方法和装置
CN116246174B (zh) 基于图像处理的甘薯种类识别方法
CN110176020A (zh) 一种融合2d和3d图像的燕窝杂质分拣方法
CN111521128A (zh) 一种基于光学投影的贝类外部形态自动测量方法
CN115546536A (zh) 一种象牙制品识别方法及***
CN108765448A (zh) 一种基于改进tv-l1模型的虾苗计数分析方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211109