CN110935646A - 基于图像识别的全自动螃蟹分级*** - Google Patents

Abstract

本发明公开了基于图像识别的全自动螃蟹分级***，包括PLC控制装置，以及连接在其上并且依次连接的分拣装置和电子皮带秤以及分级分拣装置；其中：分拣装置用于运输以及分拣螃蟹，并且通过图像获取摄像头获取螃蟹腹部的公、母特图像特征信息；电子皮带秤通过设置于其上的称重传感器获取螃蟹的重量信息传输给PLC控制装置，同时通过速度传感器获取的电子皮带运行速度传输给PLC控制装置；PLC控制装置还连接计数器和计时器；PLC控制装置通过获取的电子皮带秤上的螃蟹的重量信息、电子皮带运行速度以及分级分拣装置螃蟹腹部的公、母图像特征信息控制螃蟹的分级以及分级的速度。该***应用于螃蟹养殖基地，提高了螃蟹的分级效率和分级精度，彻底解放劳动力。

Description

基于图像识别的全自动螃蟹分级***

技术领域

本发明涉及技术领域，特别是涉及基于图像识别的全自动螃蟹分级***。

背景技术

现有的分级设备大都以螃蟹的重量为分级指标，主要有运动输送盘式、固定衡量称体、运动衡量称体式等原理，主要因为存在着动态称量误差、受力不稳定等各种因素导致分级精度不高，难以适应多种作业环境。目前在质量的检测分级方面主要是通过电子称重的方式获取分级参数，从而进行检测分级。国内王志勇，江涛，徐志强根据不同鱼类的体维特征参数和鱼类重量关系，研究设计了一种鱼类重量自

动分级装置。改变了传统的手工分拣模式，利用分级平面上倾斜安装有方向相同的锥行分级辊，通过回归方程式计算出任一体重的鱼类对应的体厚值作为调节分级平面上分级辊间距的依据，分级平面上相邻分级辊的间距逐渐变大，但此分级设备精度不高，效率低下，不易于大规模化分拣。

发明内容

为了克服上述现有技术的不足，本发明提供了一种为此，本***以螃蟹的重量和公母特征为分拣依据，设计了一种螃蟹自动分拣***。该***基于视觉识别、PLC控制、虚拟仪器等技术基础，建立了实现螃蟹自动分拣的研究方案，旨在解决螃蟹公母特征快速识别、重量特征精确提取、多级分拣快速实现等关键技术难题，在此基础上，搭建基于螃蟹公母和重量特征的自动分级模型，本***的研究成果为实现螃蟹自动分级的探索和发展提供了一定的经验和参考价值，也为以后螃蟹自动分级机械的开发设计和制造提供了一条可行性创新思路。该***可以应用于螃蟹养殖基地，提高了螃蟹的分级效率和分级精度，彻底解放劳动力，必将带来巨大的经济和社会效益。

本发明所采用的技术方案是：基于图像识别的全自动螃蟹分级***，包括PLC控制装置，以及连接在其上并且依次连接的分拣装置和电子皮带秤以及分级分拣装置；其中：

分拣装置,用于运输以及分拣螃蟹，通过图像获取摄像头获取螃蟹腹部的公、母特图像特征信息，并且传输给PLC控制装置；

电子皮带秤，通过设置于其上的称重传感器获取螃蟹的重量信息传输给PLC控制装置，同时通过速度传感器获取的电子皮带运行速度传输给PLC控制装置；

PLC控制装置还连接计数器和计时器，用于控制单个螃蟹在图像获取摄像头装置的图像获取区域的时长，以及在分级分拣装置上分级的螃蟹实现计数；

PLC控制装置通过获取的电子皮带秤上的螃蟹的重量信息、电子皮带运行速度以及分级分拣装置螃蟹腹部的公、母图像特征信息控制螃蟹的分级以及分级的速度。

进一步地，所述PLC控制装置包括上位机和下位机，其中：在具体实施过程中，利用工控机作为上位监控机，安装LabVIEW虚拟仪器软件用于实现图像的采集和处理；

上位机，连接图像获取摄像头和通讯连接下位机，用于实时检测到的螃蟹腹部的公、母图像特征信息，并且将检测到的螃蟹腹部的公、母图像特征信息传输给下位机；

下位机，根据接收到螃蟹腹部的公、母图像特征信息以及采集到的螃蟹的重量信息和电子皮带运行速度控制分级分拣装置的分拣工作。

进一步地，图像获取摄像头获取螃蟹腹部的公、母图像特征信息后，PLC控制装置对获取的原始图像进行处理后得到匹配用图像信息，得到匹配用图像信息的处理步骤依次包括：

S11，将采集到的原始图像转换为灰度图像，使用ColorPlaneExtraction颜色平面抽取函数完成图像的转换，并且选择通过绿色平面提取的图像作为转换后的灰度图像；

S12，选择Lookup Table函数进行灰度图像的对比度和亮度处理，可以改变像素的灰度值以便于它们更均匀的分布在指定的灰度范围内,算法在每个灰度区间联合一个相等数量的像素，并且充分利用其灰度变化。均衡后的图像揭示了有强度的区域细节，而其它区域将被清除掉；

S13，使用滤波函数对图像进行去躁处理。

进一步地，PLC控制装置处理后的匹配用图像信息通过以Pattern Matching模式匹配函数或Geometric Matching几何匹配函数与储存在PLC控制装置中的公螃蟹图样模型以及母螃蟹图样模型匹配。

进一步地，电子皮带秤为多托辊秤，并且其内安装至少三组称重传感器对其称重，为了提高螃蟹重量的测量精度，PLC控制装置控制螃蟹重量测量方法包括：

S41，PLC控制装置获取每一个称重传感器测量到的螃蟹重量，并且求取若干个螃蟹重量的平均值；

S42，PLC控制装置判定电子皮带秤是否进入空载模式；如果是，则执行S43，如果否，则执行S44；

S43，电子皮带秤的皮带重量测量；

S44，判定是否进入标定模式，如果是进行S45，如果否，则执行S46；

S45，皮带秤标定；

S46，螃蟹重量测量。

进一步地，PLC控制装置分拣装置的分拣速度的控制流程包括：

S21，PLC控制装置判定是否设置上料时间，如果是，则执行S22，如果不是，则执行S23；

S22，单个螃蟹上料时间设置；

S23，PLC控制装置读取电子皮带秤皮带速度编码器值；

S24，PLC控制装置计算电子皮带秤皮带运行速度；

S25，PLC控制装置根据S24计算出来的电子皮带秤皮带运行速度，计算出螃蟹到达相应分级机构处的时间，从而控制分级分拣装置对应的分级机构打开，完成螃蟹的分级。

进一步地，PLC控制装置1对分级分拣装置控制以螃蟹的重量信息为依据进行控制，具体控制包括：

S31，设定公螃蟹以及母螃蟹的重量分级参数指标D₀,D₁,D₂…D_n，作为公螃蟹以及母螃蟹分级的依据；

S32，判定螃蟹为公螃蟹还是母螃蟹，设定测量得到的螃蟹重量为m，如果是公螃蟹，则执行S33；如果是母螃蟹，则执行S34；

S33，当m≥D₀,判断为一级公螃蟹，并且分拣；当D₀≤m≤D₁,判断为二级公螃蟹，并且分拣；如此循环分级；

S34，当m≥D₂,判断为一级母螃蟹，并且分拣；当D₂≤m≤D₃,判断为二级母螃蟹，并且分拣；如此循环分级。

与现有技术相比，本发明的有益效果是：本发明的基于图像识别的全自动螃蟹分级***，针对现有市场上螃蟹自动分级产品的空白，本***以螃蟹的重量和公母特征为分拣依据，设计了一种螃蟹自动分拣***。

该***可以应用于螃蟹养殖基地，大大提高螃蟹的分级效率和分级精度，彻底解放劳动力，必将带来巨大的经济和社会效益。

附图说明

图1为基于图像识别的全自动螃蟹分级***的一个实施例的结构图；

图2为基于图像识别的全自动螃蟹分级***的另一个实施例的结构图；

图3为图像获取摄像头装置获取的原始图像的转换采样实施例图像，即步骤S11，其中a.为原始图像，b.为红色平面提取图像，c.为绿色平面提取图像，b.为蓝色平面提取图像；

图4为匹配用图像信息的处理步骤S12时选择Lookup Table函数进行灰度图像的对比度和亮度处理后的图像，a.均衡前图像，b.均衡后图像；

图5为匹配用图像信息的处理步骤S13使用滤波函数对图像进行去躁处理后的螃蟹图像实施例；

图6为螃蟹分级控制程序流程图；

其中：1-PLC控制装置，11-上位机，12-下位机，13-OPC通讯电缆；2-分拣装置，3-图像获取摄像头，4-电子皮带秤，41-称重传感器，42-速度传感器；5-分级分拣装置，6-计数器，7-计时器。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

如图1所示，基于图像识别的全自动螃蟹分级***，其特征在于：包括PLC控制装置1，以及连接在其上并且依次连接的分拣装置2和电子皮带秤4以及分级分拣装置5；其中：

分拣装置2,用于运输以及分拣螃蟹，通过图像获取摄像头3获取螃蟹腹部的公、母特图像特征信息，并且传输给PLC控制装置1；图像获取摄像头3使用USB工业摄像头，在上位机上安装了Vision Acquisition Software和Vision Development Module软件包以后，即可在LabVIEW软件中实现基于USB摄像头的头像采集和处理过程；既经济划算又操作方便，同时还可以满足***的精度和技术要求。

电子皮带秤4，通过设置于其上的称重传感器41获取螃蟹的重量信息传输给PLC控制装置1，同时通过速度传感器42获取的电子皮带运行速度传输给PLC控制装置1；称重传感器是***中一个重要的组成部件，在测量***的精度和稳定性上起到了关键作用，它关系到螃蟹在线动态称重的精度和可靠性。可选用单点式651C型称重传感器。皮带秤的速度传感器是用来测量皮带运行时的速度，根据称重传感器和速度传感器的数值来确定分拣速度，可以采用分辨率较高的欧姆龙E6C2-C系列增量式旋转编码器，型号为E6C2-CWZ1X，外径50mm，分辨率1000p/r，足以满足取料机在线动态称重计量***的精度需求。

PLC控制装置1还连接计数器6和计时器7，用于控制单个螃蟹在图像获取摄像头装置的图像获取区域的时长，以及对分级的螃蟹实现计数；

PLC控制装置1通过获取的电子皮带秤4上的螃蟹的重量信息、电子皮带运行速度以及分级分拣装置5螃蟹腹部的公、母图像特征信息控制螃蟹的分级以及分级的速度。具体实施过程中，全自动螃蟹分级***，首先让待分拣螃蟹使用分拣装置初步分拣以及运输进入图像获取摄像头的图像识别区域，PLC控制装置过图像获取摄像头获取螃蟹腹部的公、母特图像特征信息，然后让提取过螃蟹腹部的公、母特图像特征信息的螃蟹进入电子皮带秤，通过称重传感器获取螃蟹的重量信息，根据重量信息和螃蟹腹部的公、母特图像特征信息，PLC控制装置控制分拣分级机构根据速度传感器获取的皮带运行速度，***可以设置螃蟹的分级速度，提高分级效率。

如图2所示，所述PLC控制装置1包括上位机11和下位机12，其中：在具体实施过程中，利用工控机作为上位监控机，安装LabVIEW虚拟仪器软件用于实现图像的采集和处理；

上位机11，连接图像获取摄像头3和通讯连接下位机12，用于实时检测到的螃蟹腹部的公、母图像特征信息，并且将检测到的螃蟹腹部的公、母图像特征信息传输给下位机12；

下位机12，通过OPC通讯电缆13连接上位机，根据接收到螃蟹腹部的公、母图像特征信息以及采集到的螃蟹的重量信息和电子皮带运行速度控制分级分拣装置的分拣工作。具体在实施过程中，可以利用工控机作为上位机来进行监控，并且在上位机上安装LabVIEW虚拟仪器软件用于实现图像的采集和处理。在下位机上安装STEP7 MicroWIN软件，用于实现对下位机PLC控制器的编程和调试。

在上述实施例中，全自动螃蟹分级***的图像获取摄像头3获取螃蟹腹部的公、母图像特征信息后，PLC控制装置1对获取的原始图像进行处理后得到匹配用图像信息，得到匹配用图像信息的处理步骤依次包括：

S11，将采集到的原始图像转换为灰度图像，使用ColorPlaneExtraction颜色平面抽取函数完成图像的转换，并且选择通过绿色平面提取的图像作为转换后的灰度图像；对图像获取摄像头拍摄到的原始图像分别对三个平面进行图像提取，得到的结果如图3所示。从图中可以看出，由于红、绿、蓝三个颜色通道在螃蟹原始彩色图像中的所占的比例接近，因此提取出来的单一平面灰度图像差别不是太明显。区分螃蟹公、母的主要依据是雌蟹腹面渐呈圆形(团脐)，雄蟹为狭长三角形(尖脐)。绿色平面提取的灰度图像中，公螃蟹狭长三角形(尖脐)的灰度特征和周围灰度比较更加清晰，因此，程序选择通过绿色平面提取的图像作为转换后的灰度图像。

S12，选择Lookup Table函数进行灰度图像的对比度和亮度处理，可以改变像素的灰度值以便于它们更均匀的分布在指定的灰度范围内,算法在每个灰度区间联合一个相等数量的像素，并且充分利用其灰度变化。从图4中可以看出来，均衡后的图像揭示了有强度的区域细节，而其它区域将被清除掉；

S13，使用滤波函数对图像进行去躁处理，从图5中可以看出，对于有较多高频噪声的图像，该算法可以有效的过滤掉高频噪声，得到较理想的图像。

在上述实施例中，全自动螃蟹分级***的PLC控制装置1处理后的匹配用图像信息通过以Pattern Matching模式匹配函数或Geometric Matching几何匹配函数与储存在PLC控制装置中的公螃蟹图样模型以及母螃蟹图样模型匹配；几何匹配算法使用模板图像的几何信息作为匹配的主要特征，该几何特征可以从低级特征如边缘或曲线到高级特征如通过图像的曲线得到的几何形状，因此，几何匹配算法包含了基于边缘的几何匹配和基于特征的几何匹配两种，但不管选用哪种，都要求图像具有鲜明的边缘特性，能够准确提取图像中的曲线或特征信息。在创建模板时，选择公螃蟹的狭长三角形尖脐区域作为特征提取区域；PatternMatching模式匹配可以快速的定位一个灰度图像区域，这个灰度图像区域与一个已知的参考模板是匹配的。在使用模式匹配时，首先需要创建一个模板，这个模板代表了将要搜索的目标。由于模式匹配是基于图像像素值进行运算的，因此相对于几何匹配，模式匹配的应用范围更广，运算速度也要远远快于几何匹配。

在上述实施例中，全自动螃蟹分级***的电子皮带秤为多托辊秤，减小了测量误差，提高螃蟹的分级精度，并且最好在多托辊秤内安装至少三组称重传感器对其称重，为了提高螃蟹重量的测量精度，PLC控制装置控制螃蟹重量测量方法包括：

S41，PLC控制装置获取每一个称重传感器测量到的螃蟹重量，并且求取若干个螃蟹重量的平均值；

S42，PLC控制装置判定电子皮带秤是否进入空载模式；如果是，则执行S43，如果否，则执行S44；

S43，电子皮带秤的皮带重量测量；

S44，判定是否进入标定模式，如果是进行S45，如果否，则执行S46；

S45，皮带秤标定；

S46，螃蟹重量测量，即可以完成对螃蟹质量的精确测量。

进一步地，PLC控制装置分拣装置的分拣速度的控制流程包括：

S21，PLC控制装置判定是否设置上料时间，如果是，则执行S22，如果不是，则执行S23；

S22，单个螃蟹上料时间设置；

S23，设置完成以后，PLC控制装置读取电子皮带秤皮带速度编码器值；

S24，PLC控制装置计算电子皮带秤皮带运行速度；

S25，PLC控制装置根据S24计算出来的电子皮带秤皮带运行速度，计算出螃蟹到达相应分级机构处的时间，从而控制分级分拣装置对应的分级机构打开，完成螃蟹的精准分级。

在上述实施例中，全自动螃蟹分级***的PLC控制装置1对分级分拣装置控制以螃蟹的重量信息为依据进行控制，具体控制包括：

S31，设定公螃蟹以及母螃蟹的重量分级参数指标D₀,D₁,D₂…D_n，作为公螃蟹以及母螃蟹分级的依据；

S32，判定螃蟹为公螃蟹还是母螃蟹，设定测量得到的螃蟹重量为m，如果是公螃蟹，则执行S33；如果是母螃蟹，则执行S34；

S33，当m≥D₀,判断为一级公螃蟹，并且分拣；当D₀≤m≤D₁,判断为二级公螃蟹，并且分拣；如此循环分级；

S34，当m≥D₂,判断为一级母螃蟹，并且分拣；当D₂≤m≤D₃,判断为二级母螃蟹，并且分拣；如此循环分级。具体在分级时的一个实施例如图6所示的螃蟹分级控制程序流程图，PLC接收来自触摸屏的重量参数设定，分别为公、

母螃蟹设定重量分选指标。其中当螃蟹为公，并且重量m≥D₀,判断为一级公螃蟹，进行一级分选，当D₀≤m≤D₁,判断为二级公螃蟹，进行二级分选；剩下的定为三级。当螃蟹为母，并且重量m≥D₂,进行四级分选，当D₃≤m≤D₂,进行五级分选；剩下的定为六级，进行六级分选，分选介绍后结束流程。

使用上述实施例的全自动螃蟹分级***对100只公螃蟹和100只母螃蟹进行了分级测试，测试结果如表1-1所示。从表中可以看出，***对螃蟹的公母特征识别准确率接近100％，螃蟹重量特征的测量平均误差在2.3％左右，螃蟹分级精度非常高。***分拣单个螃蟹的平均时间在0.82～0.85秒之间，分拣效率为每分钟70～73个，分级效率远远超过人工分拣。

表1-1实验分析结果

本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims (7)

1.基于图像识别的全自动螃蟹分级***，其特征在于：包括PLC控制装置(1)，以及连接在其上并且依次连接的分拣装置(2)和电子皮带秤(4)以及分级分拣装置(5)；其中：

分拣装置(2),用于运输以及分拣螃蟹，通过图像获取摄像头(3)获取螃蟹腹部的公、母特图像特征信息，并且传输给PLC控制装置(1)；

电子皮带秤(4)，通过设置于其上的称重传感器(41)获取螃蟹的重量信息传输给PLC控制装置(1)，同时通过速度传感器(42)获取的电子皮带运行速度传输给PLC控制装置(1)；

PLC控制装置(1)还连接计数器(6)和计时器(7)，用于控制单个螃蟹在图像获取摄像头装置的图像获取区域的时长，以及在分级分拣装置上分级的螃蟹实现计数；

PLC控制装置(1)通过获取的电子皮带秤(4)上的螃蟹的重量信息、电子皮带运行速度以及分级分拣装置(5)螃蟹腹部的公、母图像特征信息控制螃蟹的分级以及分级的速度。

2.根据权利要求1所述的基于图像识别的全自动螃蟹分级***，其特征在于：所述PLC控制装置(1)包括上位机(11)和下位机(12)，其中：

上位机(11)，连接图像获取摄像头(3)和通讯连接下位机(12)，用于实时检测到的螃蟹腹部的公、母图像特征信息，并且将检测到的螃蟹腹部的公、母图像特征信息传输给下位机(12)；

下位机(12)，通过OPC通讯电缆(13)连接上位机(11)，根据接收到螃蟹腹部的公、母图像特征信息以及采集到的螃蟹的重量信息和电子皮带运行速度控制分级分拣装置的分拣工作。

3.根据权利要求1或2所述的基于图像识别的全自动螃蟹分级***，其特征在于：图像获取摄像头(3)获取螃蟹腹部的公、母图像特征信息后，PLC控制装置(1)对获取的原始图像进行处理后得到匹配用图像信息，得到匹配用图像信息的处理步骤依次包括：

S11，将采集到的原始图像转换为灰度图像，使用颜色平面抽取函数完成图像的转换，并且选择通过绿色平面提取的图像作为转换后的灰度图像；

S12，选择函数进行灰度图像的对比度和亮度处理；

S13，使用滤波函数对图像进行去躁处理。

4.根据权利要求3所述的基于图像识别的全自动螃蟹分级***，其特征在于：PLC控制装置(1)处理后的匹配用图像信息通过以模式匹配函数或几何匹配函数与储存在PLC控制装置中的公螃蟹图样模型以及母螃蟹图样模型匹配。

5.根据权利要求2所述的基于图像识别的全自动螃蟹分级***，其特征在于：电子皮带秤为多托辊秤，并且其内安装至少三组称重传感器对其称重，PLC控制装置控制螃蟹重量测量方法包括：

S41，PLC控制装置获取每一个称重传感器测量到的螃蟹重量，并且求取若干个螃蟹重量的平均值；

S42，PLC控制装置判定电子皮带秤是否进入空载模式；如果是，则执行S43，如果否，则执行S44；

S43，电子皮带秤的皮带重量测量；

S44，判定是否进入标定模式，如果是进行S45，如果否，则执行S46；

S45，皮带秤标定；

S46，螃蟹重量测量。

6.根据权利要求1或5所述的基于图像识别的全自动螃蟹分级***，其特征在于：PLC控制装置分拣装置的分拣速度的控制流程包括：

S21，PLC控制装置判定是否设置上料时间，如果是，则执行S22，如果不是，则执行S23；

S22，单个螃蟹上料时间设置；

S23，PLC控制装置读取电子皮带秤皮带速度编码器值；

S24，PLC控制装置计算电子皮带秤皮带运行速度；

S25，PLC控制装置根据S24计算出来的电子皮带秤皮带运行速度，计算出螃蟹到达相应分级机构处的时间，从而控制分级分拣装置对应的分级机构打开，完成螃蟹的分级。

7.根据权利要求6所述的基于图像识别的全自动螃蟹分级***，其特征在于：PLC控制装置(1)对分级分拣装置控制以螃蟹的重量信息为依据进行控制，具体控制包括：

S31，设定公螃蟹以及母螃蟹的重量分级参数指标D₀,D₁,D₂…D_n，作为公螃蟹以及母螃蟹分级的依据；

S32，判定螃蟹为公螃蟹还是母螃蟹，设定测量得到的螃蟹重量为m，如果是公螃蟹，则执行S33；如果是母螃蟹，则执行S34；

S33，当m≥D₀,判断为一级公螃蟹，并且分拣；当D₀≤m≤D₁,判断为二级公螃蟹，并且分拣；如此循环分级；

S34，当m≥D₂,判断为一级母螃蟹，并且分拣；当D₂≤m≤D₃,判断为二级母螃蟹，并且分拣；如此循环分级。

Images