CN110738631A - 一种基于图像的对虾外形信息检测方法和检测*** - Google Patents

Abstract

一种基于图像的对虾外形信息检测方法和检测***，该检测方法基于结构性环境背景的输送带和对虾具有明显的颜色和几何形态特征，利用图像处理方法，进行对虾的外形信息检测和计算，并根据计算的单虾形态参数输出综合结果，包括采集输送带上的对虾彩色图像，并进行单虾检测定位，获得单虾外接矩形集合；对获得的该单虾外接矩形集合进行融合和筛选，获得单虾定位集合；根据该单虾定位集合，分别计算单个虾体的形态品质参数，循环迭代直至该单虾定位集合中的全部单个虾体的形态品质参数计算完毕；以及计算该全部单个虾体的形态品质参数的平均值作为整张该对虾彩色图像中的对虾外形信息参数并输出。本发明还提供了用于该检测方法的检测***。

Description

一种基于图像的对虾外形信息检测方法和检测***

技术领域

本发明涉及水产品加工领域，特别是一种基于图像的对虾外形信息检测方法和检测***。

背景技术

对虾壳薄体肥，含肉率高，肉质鲜美，营养丰富，是烹制多种佳肴及制作多种休闲、风味食品的优质食材，深受国内外消费者喜爱。对虾是全球需求量最大的水产品之一，2016年全球对虾总产量约400万吨，中国、印度、泰国、印尼、越南和厄瓜多尔6国总产量超过全球对虾总产量的75％。中国是世界上最大的对虾生产国，也是对虾主要贸易国之一。对虾虾仁是对虾收获后粗加工的重要产品，中国出口的对虾产品中，虾仁总量占了约一半。

实现机械化的全自动流水线生产取代人工剥制是提高对虾脱壳水平的重要方向。对虾前处理的机械化加工流程主要包括：清洗→分级→排序定向→去头→开背→去肠线→剥壳→虾仁收集。目前国内在对虾剥壳环节主要使用的是辊式结构的剥壳机，对虾经输送带输送至平行排列的剥壳辊上，通过辊子间的相互转动使对虾在挤压和摩擦的作用下脱壳。由于对虾的形态大小不一，固定的剥壳参数不能适应对虾外形信息的变化，影响剥壳效果。

发明内容

本发明所要解决的技术问题是针对现有技术的上述问题，提供一种基于图像的对虾外形信息检测方法和检测***，能够完成输送带上多只对虾外形信息的在线检测。

为了实现上述目的，本发明提供了一种基于图像的对虾外形信息检测方法，其中，基于结构性环境背景的输送带和对虾具有明显的颜色和几何形态特征，利用图像处理方法，进行对虾的外形信息检测和计算，并根据计算的单虾形态参数输出综合结果，包括如下步骤：

S100、单虾位置检测：采集输送带上的对虾彩色图像，并进行单虾检测定位，获得单虾外接矩形集合；

S200、外接矩形融合筛选：对获得的所述单虾外接矩形集合进行融合和筛选，获得单虾定位集合；

S300、单虾形态参数计算：根据所述单虾定位集合，分别计算单个虾体的形态品质参数，循环迭代直至所述单虾定位集合中的全部单个虾体的形态品质参数计算完毕；

S400、输出对虾综合参数：计算所述全部单个虾体的形态品质参数的平均值作为整张所述对虾彩色图像中的对虾外形信息参数并输出。

上述的基于图像的对虾外形信息检测方法，其中，所述单虾位置检测进一步包括：

S101、灰度变换：输入图像为I_rgb，输出灰度图为I_gray，则：

I_gray＝0.3R+0.59G+0.11B

其中，R,G,B分别表示三个通道；

S102、OTSU自适应阈值分割：对于所述灰度图I_gray，目标和背景的分割阈值记为S，目标像素点占整幅图像的比例为ω₀，其平均灰度μ₀，背景像素点占整幅图像的比例为ω₁，其平均灰度为μ₁；图像的总平均灰度为μ，类间方差为g；假设图像分辨率为M×N，图像中像素的灰度值小于阈值S的像素个数记作N₀，像素灰度大于阈值S的像素个数记作N₁，可得下式：

μ＝ω₀*μ₀+ω₁*μ₁

g＝ω₀*(μ-μ₀)²+ω₁*(μ-μ₁)²

g＝ω₀*ω₁*(μ₀-μ₁)²；

通过循环迭代得到最大类间方差，对应阈值为分割阈值S；

S103、膨胀处理：采用n×n的方形滤波核对所述灰度图进行膨胀处理；

S104、边缘检测：设定所述灰度图的图像下边界和上边界，并进行图像边缘检测，获得边缘图像为I_edge；

S105、轮廓检测：利用OPENCV内部集成函数寻找所述边缘图像的外轮廓点集合，并将所述外轮廓点集合进行滤波，删除子集中包围面积小于30的子集，得到最终外轮廓集合V＝{v₁,v₂,...,v_n}，n为子集个数；

S106、获取单虾外接矩形集合：分别计算所述最终外轮廓集合中轮廓vi的外接矩形，得到单虾外接矩形集合R＝{r₁,r₂,...,r_n}。

上述的基于图像的对虾外形信息检测方法，其中，所述膨胀处理步骤中n＝4，所述图像下边界为30，上边界为70。

上述的基于图像的对虾外形信息检测方法，其中，所述单虾形态参数计算进一步包括：

S301、外轮廓检测：利用OPENCV内部集成函数寻找所述边缘图像的外轮廓点集合，找到最大外轮廓v，所述最大外轮廓v的总长度为对虾的长度L_i；

S302、多边形拟合：利用得到的所述最大外接轮廓v进行多边形拟合，获得新的轮廓点集p＝{p₀,p₁,...,p_k}，k为所述轮廓点集内的关键点数量；

S303、外切线拟合：根据所述轮廓点集，先确定边缘关键点p_m,p_n，并分别找到距离p_m,p_n最近的点记为p_m0,p_n0，p_m,p_n与p_m0,p_n0对应的点连线为外轮廓切线，所述外轮廓切线相交于点p_c，两所述外轮廓切线之间所成夹角的补角θ为对虾弯曲度。

上述的基于图像的对虾外形信息检测方法，其中，所述对虾弯曲度通过下式计算：

若k₁,k₂同号，则

若k₁,k₂异号，则

其中，k₁为经过点m与点c的直线的斜率，k₂为经过点n与点c的直线的斜率；(x_c，y_c)为外轮廓切线相交于点p_c的坐标，(x_m，y_m)和(x_n，y_n)分别为边缘关键点p_m,p_n的坐标。

上述的基于图像的对虾外形信息检测方法，其中，还包括对虾面积和宽度计算：根据输入的单个对虾切片图像自适应阈值分割后的二值图像，统计图像中非零像素值的点个数，记为该单个对虾的面积A_i，则该单个对虾的宽度为D_i：

上述的基于图像的对虾外形信息检测方法，其中，所述对虾外形信息参数采用如下公式计算：

其中，L为对虾长度，A为对虾面积，D为对虾宽度。

上述的基于图像的对虾外形信息检测方法，其中，所述外接矩形融合筛选进一步包括：

S201、已知矩形框r_i,r_j，中心坐标为p_i(x_i,y_i),p_j(x_j,y_j)，其长宽的一半分别为x₁,y₁,x₂,y₂，计算可得：

Δx＝|x_i-x_j|

Δy＝|y_i-y_j|

设置融合条件为Δx＜x₁,Δy＜y₁或Δx＜x₂,Δy＜y₂，且要求Δx²+Δy²≤T，T为距离阈值；若满足条件，则进行矩形框融合；

S202、分别计算r_i,r_j的外接矩形，根据最大边界计算获得二者的外接矩形，完成一组矩形框融合；

S203、循环迭代，每两个组合框进行上述步骤S201-S202的判断融合，直至所有矩形框各自独立，互不交叉。

上述的基于图像的对虾外形信息检测方法，其中，所述距离阈值T为200。

为了更好地实现上述目的，本发明还提供了一种基于图像的对虾外形信息检测***，其中，基于结构性环境背景的输送带和对虾具有明显的颜色和几何形态特征，利用图像处理方法，进行对虾的外形信息检测和计算，并根据计算的对虾形态参数输出综合结果，包括：

上位机，采用上述的基于图像的对虾外形信息检测方法进行对虾的外形信息检测和计算；

传送装置，用于输送待检测的对虾；以及

彩色摄像头，固定于所述传送装置的输送带的检测区间正上方并与所述上位机连接，所述彩色摄像头的镜头垂直向下以采集所述输送带上的所述待检测的对虾的彩色图像，并通过USB接口将所述彩色摄像头采集的数据信息传输给所述上位机。

本发明的技术效果在于：

本发明针对目前对虾加工生产线存在的物料适应性差、自动化程度不高等问题，提供了对虾剥壳过程物料信息实时采集与处理***，实现了对虾加工生产线输入物料信息的在线检测，为进一步实现智能剥制设备在线优化调控、建立智能化对虾加工生产线提供了技术支撑。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明一实施例的对虾外形信息检测装置示意图；

图2为本发明一实施例的检测方法流程原理图；

图3为本发明一实施例的外接矩形融合筛选示意图；

图4为本发明一实施例的融合方法示意图；

图5为本发明一实施例的外轮廓检测示意图；

图6为本发明一实施例的外切线拟合示意图。

其中，附图标记

1 输送带

2 对虾

3 摄像头

4 上位机

5 图像采集区域

6 黄色框

7 绿色框

8 红色框

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

参见图1，图1为本发明一实施例的对虾外形信息检测装置示意图。本发明基于图像的对虾外形信息检测***，可基于结构性环境背景的输送带1和对虾2具有明显的颜色和几何形态特征，利用图像处理方法，进行对虾2的外形信息检测和计算，并根据计算的对虾形态参数输出综合结果，包括：上位机4，采用基于图像的对虾外形信息检测方法进行对虾的外形信息检测和计算；传送装置，用于输送待检测的对虾2；以及彩色摄像头3，固定于所述传送装置的输送带1的图像采集区域5的检测区间正上方，距离输送带1约40cm，并与所述上位机4连接，所述彩色摄像头3的镜头垂直向下以采集所述输送带1上的所述待检测的对虾的彩色图像，并通过USB接口将所述彩色摄像头3采集的数据信息传输给所述上位机4。

参见图2，图2为本发明一实施例的检测方法流程原理图。本发明基于图像的对虾外形信息检测方法，针对对虾弯曲度、面积、宽度等形态品质参数不同等问题，基于结构性环境背景的输送带1和对虾2具有明显的颜色和几何形态特征，利用图像处理方法，进行对虾2的外形信息检测和计算，并根据计算的单虾形态参数输出综合结果。由于图像视场中包括若干只对虾2，故本方法主要包括单虾位置检测模块、外接矩形融合筛选模块和单虾品质参数计算模块。该检测方法具体包括如下步骤：

步骤S100、单虾位置检测：采集输送带1上的对虾彩色图像作为输入，并进行单虾检测定位，获得单虾外接矩形集合；

步骤S200、外接矩形融合筛选：在单虾检测定位过程中，常出现轮廓检测不完整的情况，即一只整虾被两个(或多个)检测框框选，每个检测框仅框选了部分虾。因此需要对获得的单虾外接矩形集合进行融合和筛选，以获得单虾定位集合(参见图3)；

步骤S300、单虾形态参数计算：根据步骤S200获得的所述单虾定位集合，分别计算单个虾体的形态品质参数，循环迭代直至所述单虾定位集合中的全部单个虾体的形态品质参数计算完毕；以及

步骤S400、输出对虾综合参数：计算所述全部单个虾体的形态品质参数的平均值作为整张所述对虾彩色图像中的对虾外形信息参数并输出。

其中，所述单虾位置检测进一步包括：

步骤S101、灰度变换：输入图像为I_rgb，输出灰度图像为I_gray，则：

I_gray＝0.3R+0.59G+0.11B

其中，R,G,B分别表示三个通道；

步骤S102、OTSU自适应阈值分割：对于所述灰度图像I_gray，目标和背景的分割阈值记为S，目标像素点占整幅图像的比例为ω₀，其平均灰度μ₀，背景像素点占整幅图像的比例为ω₁，其平均灰度为μ₁；图像的总平均灰度为μ，类间方差为g；假设图像分辨率为M×N，图像中像素的灰度值小于阈值S的像素个数记作N₀，像素灰度大于阈值S的像素个数记作N₁，可得下式：

μ＝ω₀*μ₀+ω₁*μ₁

g＝ω₀*(μ-μ₀)²+ω₁*(μ-μ₁)²

g＝ω₀*ω₁*(μ₀-μ₁)²；

通过循环迭代得到最大类间方差，对应阈值为分割阈值S；

步骤S103、膨胀处理：采用a×a的方形滤波核对所述灰度图进行膨胀处理；其中，优选a＝4；

步骤S104、边缘检测：设定所述灰度图的图像下边界和上边界，并进行图像边缘检测，获得边缘图像为I_edge；图像下边界优选为30，上边界优选为70；

步骤S105、轮廓检测：利用OPENCV内部集成函数寻找所述边缘图像的外轮廓点集合，并将所述外轮廓点集合进行滤波，删除子集中包围面积小于30的子集，得到最终外轮廓集合V＝{v₁,v₂,...,v_n}，n为子集个数；以及

步骤S106、获取单虾外接矩形集合：分别计算所述最终外轮廓集合中轮廓v_i的外接矩形，得到单虾外接矩形集合R＝{r₁,r₂,...,r_n}。

参见图3，图3为本发明一实施例的外接矩形融合筛选示意图。本实施例中，所述外接矩形融合筛选可进一步包括：

步骤S201、已知矩形框r_i,r_j，中心坐标为p_i(x_i,y_i),p_j(x_j,y_j)，其长宽的一半分别为x₁,y₁,x₂,y₂，计算可得：

Δx＝|x_i-x_j|

Δy＝|y_i-y_j|；

设置融合条件为Δx＜x₁,Δy＜y₁或Δx＜x₂,Δy＜y₂，且要求Δx²+Δy²≤T，T为距离阈值，T优选为200；若满足条件，则进行矩形框融合(参见图4)；

步骤S202、分别计算r_i,r_j的外接矩形，如图4中的黄色框6和绿色框7所示，根据最大边界计算获得二者的外接矩形，如红色框8所示，如此，完成一组矩形框融合；

步骤S203、循环迭代，每两个组合框进行上述步骤S201-S202的判断融合，直至所有矩形框各自独立，互不交叉。获得单虾定位集合。

其中，进行如步骤S102的OTSU自适应阈值分割，然后进行如步骤S104的边缘检测之后，所述单虾形态参数计算进一步包括：

步骤S301、外轮廓检测：利用OPENCV内部集成函数寻找所述边缘图像的外轮廓点集合，找到最大外轮廓v，所述最大外轮廓v的总长度为对虾的长度L_i(参见图5)；

步骤S302、多边形拟合：利用得到的所述最大外接轮廓v进行多边形拟合，获得新的轮廓点集p＝{p₀,p₁,...,p_k}，k为所述轮廓点集内的关键点数量；

步骤S303、外切线拟合：根据上步骤获得的所述轮廓点集，先确定边缘关键点p_m,p_n，并分别找到距离p_m,p_n最近的点记为p_m0,p_n0，p_m,p_n与p_m0,p_n0对应的点连线为外轮廓切线，所述外轮廓切线相交于点p_c，两所述外轮廓切线之间所成夹角的补角θ记为对虾弯曲度(参见图6)。

本实施例中所述对虾弯曲度可通过下式计算：

若k₁,k₂同号，则

若k₁,k₂异号，则

其中，k₁为经过点m与点c的直线的斜率，k₂为经过点n与点c的直线的斜率；(x_c，y_c)为外轮廓切线相交于点p_c的坐标，(x_m，y_m)和(x_n，y_n)分别为边缘关键点p_m,p_n的坐标。

还可包括对虾面积和宽度计算：根据输入的单个对虾切片图像自适应阈值分割后的二值图像，统计图像中非零像素值的点个数，记为该单个对虾的面积A_i，则该单个对虾的宽度可近似为D_i：

其中，由于单张图片中包括多个虾体，故计算其平均值作为整张图像中对虾的外形信息参数，所述对虾外形信息参数采用如下公式计算：

其中，L为对虾长度，A为对虾面积，D为对虾宽度。

本发明的一实施例中，具体的工作流程如下：

第1步，开机：启动彩色摄像头3和上位机4，运行基于图像的对虾形态品质检测***；

第2步，***初始化：打开摄像头3并获取第一帧图像，若获取成功，则等待指令开始后续连续帧的处理，若打开摄像头3失败，则提示用户检查摄像头3连接装置，重新初始化；

第3步，单虾位置检测：***初始化成功后，获得当前帧图像，通过阈值分割、轮廓提取等图像处理方法，获取对虾在图像中的位置区域，并将该区域切片，进入第4步单虾外形信息参数检测；

第4步，单虾外形信息参数检测：输入为图像中单虾切片图像，输出为该单虾形态品质参数。通过图像分割、边缘检测、几何处理、函数拟合等手段，计算该单虾弯曲度、宽度和面积，作为输出外形信息参数。判断是否摄像头3图像中所有单虾均计算完毕，若计算完毕，进入第5步；若未计算完毕，提取下一个单虾切片图像，循环第4步；

第5步，均值计算：将第4步获取的所有单虾外形信息参数(包括弯曲度、宽度、面积)求均值，作为该帧摄像头3获取图像的对虾外形信息参数结果；

第6步，结束检测判断：判断是否检测完毕，若检测完毕，则结束程序，退出***；若没有检测完毕，则返回第3步，继续获取图像数据；

第7步，关机：结束***运行。

本发明利用机器视觉技术，采用基于图像的方法对彩色摄像头获取的对虾图像进行处理分析，在上位机中对图像进行单虾位置提取、外接矩形融合筛选、单虾形态参数计算等模块的操作，最后根据计算的单虾形态参数输出综合结果，实现对虾外形信息的实时检测。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于图像的对虾外形信息检测方法，其特征在于，基于结构性环境背景的输送带和对虾具有明显的颜色和几何形态特征，利用图像处理方法，进行对虾的外形信息检测和计算，并根据计算的单虾形态参数输出综合结果，包括如下步骤：

S100、单虾位置检测：采集输送带上的对虾彩色图像，并进行单虾检测定位，获得单虾外接矩形集合；

S200、外接矩形融合筛选：对获得的所述单虾外接矩形集合进行融合和筛选，获得单虾定位集合；

S300、单虾形态参数计算：根据所述单虾定位集合，分别计算单个虾体的形态品质参数，循环迭代直至所述单虾定位集合中的全部单个虾体的形态品质参数计算完毕；

S400、输出对虾综合参数：计算所述全部单个虾体的形态品质参数的平均值作为整张所述对虾彩色图像中的对虾外形信息参数并输出。

2.如权利要求1所述的基于图像的对虾外形信息检测方法，其特征在于，所述单虾位置检测进一步包括：

S101、灰度变换：输入图像为I_rgb，输出灰度图为I_gray，则：

I_gray＝0.3R+0.59G+0.11B

其中，R,G,B分别表示三个通道；

S102、OTSU自适应阈值分割：对于所述灰度图I_gray，目标和背景的分割阈值记为S，目标像素点占整幅图像的比例为ω₀，其平均灰度μ₀，背景像素点占整幅图像的比例为ω₁，其平均灰度为μ₁；图像的总平均灰度为μ，类间方差为g；假设图像分辨率为M×N，图像中像素的灰度值小于阈值S的像素个数记作N₀，像素灰度大于阈值S的像素个数记作N₁，可得下式：

μ＝ω₀*μ₀+ω₁*μ₁

g＝ω₀*(μ-μ₀)²+ω₁*(μ-μ₁)²

g＝ω₀*ω₁*(μ₀-μ₁)²；

通过循环迭代得到最大类间方差，对应阈值为分割阈值S；

S103、膨胀处理：采用n×n的方形滤波核对所述灰度图进行膨胀处理；

S104、边缘检测：设定所述灰度图的图像下边界和上边界，并进行图像边缘检测，获得边缘图像为I_edge；

S105、轮廓检测：利用OPENCV内部集成函数寻找所述边缘图像的外轮廓点集合，并将所述外轮廓点集合进行滤波，删除子集中包围面积小于30的子集，得到最终外轮廓集合V＝{v₁,v₂,…,v_n}，n为子集个数；

S106、获取单虾外接矩形集合：分别计算所述最终外轮廓集合中轮廓vi的外接矩形，得到单虾外接矩形集合R＝{r₁,r₂,...,r_n}。

3.如权利要求2所述的基于图像的对虾外形信息检测方法，其特征在于，所述膨胀处理步骤中n＝4，所述图像下边界为30，上边界为70。

4.如权利要求2所述的基于图像的对虾外形信息检测方法，其特征在于，所述单虾形态参数计算进一步包括：

S301、外轮廓检测：利用OPENCV内部集成函数寻找所述边缘图像的外轮廓点集合，找到最大外轮廓v，所述最大外轮廓v的总长度为对虾的长度L_i；

S302、多边形拟合：利用得到的所述最大外接轮廓v进行多边形拟合，获得新的轮廓点集p＝{p₀,p₁,...,p_k}，k为所述轮廓点集内的关键点数量；

S303、外切线拟合：根据所述轮廓点集，先确定边缘关键点p_m,p_n，并分别找到距离p_m,p_n最近的点记为p_m0,p_n0，p_m,p_n与p_m0,p_n0对应的点连线为外轮廓切线，所述外轮廓切线相交于点p_c，两所述外轮廓切线之间所成夹角的补角θ为对虾弯曲度。

5.如权利要求4所述的基于图像的对虾外形信息检测方法，其特征在于，所述对虾弯曲度通过下式计算：

若k₁,k₂同号，则

若k₁,k₂异号，则

其中，k₁为经过点m与点c的直线的斜率，k₂为经过点n与点c的直线的斜率；(x_c，y_c)为外轮廓切线相交于点p_c的坐标，(x_m，y_m)和(x_n，y_n)分别为边缘关键点p_m,p_n的坐标。

6.如权利要求5所述的基于图像的对虾外形信息检测方法，其特征在于，还包括对虾面积和宽度计算：根据输入的单个对虾切片图像自适应阈值分割后的二值图像，统计图像中非零像素值的点个数，记为该单个对虾的面积A_i，则该单个对虾的宽度为D_i：

7.如权利要求6所述的基于图像的对虾外形信息检测方法，其特征在于，所述对虾外形信息参数采用如下公式计算：

其中，L为对虾长度，A为对虾面积，D为对虾宽度。

8.如权利要求1、2、3、4、5、6或7所述的基于图像的对虾外形信息检测方法，其特征在于，所述外接矩形融合筛选进一步包括：

S201、已知矩形框r_i,r_j，中心坐标为p_i(x_i,y_i),p_j(x_j,y_j)，其长宽的一半分别为x₁,y₁,x₂,y₂，计算可得：

Δx＝|x_i-x_j|

Δy＝|y_i-y_j|

设置融合条件为Δx＜x₁,Δy＜y₁或Δx＜x₂,Δy＜y₂，且要求Δx²+Δy²≤T，T为距离阈值；若满足条件，则进行矩形框融合；

S202、分别计算r_i,r_j的外接矩形，根据最大边界计算获得二者的外接矩形，完成一组矩形框融合；

S203、循环迭代，每两个组合框进行上述步骤S201-S202的判断融合，直至所有矩形框各自独立，互不交叉。

9.如权利要求8所述的基于图像的对虾外形信息检测方法，其特征在于，所述距离阈值T为200。

10.一种基于图像的对虾外形信息检测***，其特征在于，基于结构性环境背景的输送带和对虾具有明显的颜色和几何形态特征，利用图像处理方法，进行对虾的外形信息检测和计算，并根据计算的对虾形态参数输出综合结果，包括：

上位机，采用上述权利要求1-9中任意一项所述的基于图像的对虾外形信息检测方法进行对虾的外形信息检测和计算；

传送装置，用于输送待检测的对虾；以及

彩色摄像头，固定于所述传送装置的输送带的检测区间正上方并与所述上位机连接，所述彩色摄像头的镜头垂直向下以采集所述输送带上的所述待检测的对虾的彩色图像，并通过USB接口将所述彩色摄像头采集的数据信息传输给所述上位机。

Images