CN109030504A - 基于虚实成像相结合的全景马铃薯缺陷检测装置及方法 - Google Patents

Abstract

本发明公开了一种基于虚实成像相结合的全景马铃薯缺陷检测装置及方法，包括输送装置、暗室检测装置、控制模块以及智能算法缺陷识别模块，控制模块与输送装置、暗室检测装置和智能算法缺陷识别模块相连接，控制模块对输送装置和暗室检测装置的启停进行控制，同时根据智能算法缺陷识别模块的结果对输送装置进行控制，完成分类。暗室检测装置包括摄像机、环形LED灯、挡推杆机构、上箱体、下箱体、透明板、齿轮齿条机构、弹簧、支杆、支座套、反光镜机构、底部LED灯。本发明专利使用单一摄像机，可同时对马铃薯上部一个实像和四个反光镜的虚像进行成像，在不翻动马铃薯情况下，完成全景缺陷检测。

Description

基于虚实成像相结合的全景马铃薯缺陷检测装置及方法

技术领域

本发明属于农产品质量检测技术领域，具体涉及一种基于虚实成像相结合的全景马铃薯缺陷检测装置及方法，其根据马铃薯的形状及外观特征，在不翻动马铃薯的情况下，对马铃薯进行虚实成像相结合的全景视觉检测，从而完成马铃薯的实时缺陷检测与分级。

背景技术

我国是世界上最大的马铃薯生产国，且将马铃薯列为第四大主粮。但是对于马铃薯缺陷的检测，大部分还停留在靠人工感官进行识别判断阶段。依靠人工方式完成马铃薯的分类，一是浪费大量劳动力，随着收获季节而出现用工量荒，二是主观评定依靠个人的经验，检测结果一致性差，并且效率低, 难以满足高标准分级的要求, 不利于实现自动化。随着人工智能深度学习技术的快速发展，利用机器视觉进行检测可自动辨识马铃薯的缺陷。

目前大部分马铃薯加工企业中使用的马铃薯的分级装置一般都只是通过重量进行分级，利用重量传感器或者压力传感器获取待测马铃薯质量数据，然后通过模拟电路或者数字电路进行分级。但这些装置对于有表面缺陷的马铃薯，比如发芽、绿皮、破损、畸形等缺陷是无法处理的。因而，还需要配置人力预先将次品挑出，再根据马铃薯质量进行分级，这样无法实现完全的机械化或自动化。

虽然现在基于计算机视觉的马铃薯分级方法和设备逐渐成为热点，但一般只限于实验室研究或者采用单一摄像机对其拍照,且在不翻动马铃薯的前提下，无法获取待测马铃薯的全景表面信息，存在漏检的概率；或者有采用多个摄像机对待检马铃薯进行拍照，但是增加检测装置的成本及其复杂性，同时增加了检测时间。

为了解决现有马铃薯分级装置的缺陷，在不增加摄像机数量及其翻动待检马铃薯的前提下，提出了一种基于虚实成像相结合的全景马铃薯缺陷检测方法及其装置。

通过国内专利文献检索发现有一些相关专利文献报道，主要有以下一些：

1、公告号为CN 104056790 A，名称为“一种马铃薯智能分选方法与装置” 实用新型专利，解决现有马铃薯分级设备能按照重量分级，但所采用单一摄像头检测的技术方案，不能实现待检马铃薯表面的全覆盖。

2、公告号为CN 104941922 B，名称为“一种基于机器视觉技术的马铃薯分级控制装置” 发明专利，可以实现杂质、不同品质马铃薯的快速检测分选，利用空气喷射器剔除杂质，控制马铃薯与导向拨杆之间的碰撞角度来降低碰撞力,根据马铃薯的检测横径采用一个或多个导向机构对马铃薯进行剔除，实现待分级马铃薯的有效分选，但该分类装置采用抛甩方式进行分类，存在表皮破损的风险，另外，所采用的摄像机拍照方式存在待检马铃薯表面不能完全覆盖，存在拍照盲区。

3、公告号为 CN 203732461 A，名称为“一种用于马铃薯品质图像采集的水平输送和匀速翻转装置”实用新型专利，设计一种用于马铃薯品质图像采集的水平输送和匀速翻转装置，可以实现马铃薯外部品质无损检测，但是该装置需要借助凹形圆柱物料托辊机构对马铃薯进行翻转，容易造成马铃薯表皮的破损，而且对于不同尺寸的马铃薯，翻转效果存在差异，导致漏检的可能性。

4、公告号为 CN 106238342 A，名称为“全景视觉马铃薯分选和缺陷检测装置及其分选检测方法”发明专利，采用6个摄像机从6个不同方位获取待检马铃薯的表面信息，虽然能够获取全景信息，当时所采用摄像头过多，装置成本高；另外，拍照过程中，为了防止摄像机的补光干涉，需要6个摄像机依次拍摄，检测时间长、效率低。

上述专利文献虽然提出了马铃薯的分拣方法和马铃薯分级装置，有些设备虽然能按照外观特征分级，但由于只采用一个摄像头，检测不全面，存在漏检的概率，或者需要翻转马铃薯，容易损坏表皮；有的虽然能进行全景检测，但是采用摄像机过多，成本高，并且由于检测原理所限，检测效率低。

发明内容

本发明为了解决现有技术中的不足之处，提供一种检测全面、基本杜绝漏检情况的发生、且不损坏马铃薯表皮的基于虚实成像相结合的全景马铃薯缺陷检测装置及方法。

为解决上述技术问题，本发明采用如下技术方案：基于虚实成像相结合的全景马铃薯缺陷检测装置，包括输送装置、虚实成像相结合式暗室检测装置和控制箱；

输送装置包括上料输送机构、出料输送机构、高压气流喷嘴机构、缺陷马铃薯下滑板和缺陷马铃薯收集箱；上料输送机构后侧的输出端与虚实成像相结合式暗室检测装置前侧的输入口连接，虚实成像相结合式暗室检测装置后侧的输出口与出料输送机构前侧的输入端连接；高压气流喷嘴机构设置在出料输送机构的左侧，缺陷马铃薯下滑板位于出料输送机构的右侧并与高压气流喷嘴机构左右相对设置，缺陷马铃薯下滑板呈左高右低倾斜设置，缺陷马铃薯收集箱设置在缺陷马铃薯下滑板右侧边的下方；出料输送机构的后侧输出端为合格马铃薯出口；

控制箱内设置有控制模块和智能算法缺陷识别模块，控制模块通过工业以太网分别与输送装置和虚实成像相结合式暗室检测装置连接，智能算法缺陷识别模块与控制模块连接。

虚实成像相结合式暗室检测装置包括垂直设置的四根立柱，四根立柱之间设置有顶部敞口的下箱体，每根立柱的上端均通过螺栓连接有一个连接件，四个连接件之间设置有底部敞口的上箱体，上箱体与下箱体上下相对设置且具有间隙，虚实成像相结合式暗室检测装置前侧的输入口和后侧的输出口分别设置在上箱体的前侧下部和后侧下部，输入口和输出口前后对应设置；

下箱体内底部设置有四个顶部敞口的支座套，四个支座套分别邻近下箱体的四个侧壁，四个支座套的连线为菱形，每个支座套内均设置有一个弹簧，弹簧上端高于支座套，每个弹簧内均插设有一根沿垂直方向设置的支杆，支杆上设置有与弹簧上端顶压配合的挡环，支杆下端伸入到支座套内并距离支座套底部2-5cm，左侧支杆的下部的右侧、右侧支杆的下部的左侧、前侧支杆的下部的后侧以及后侧支杆的下部的前侧均设置有齿条结构，每个齿条结构均啮合有一个第一齿轮，第一齿轮的中心同轴向固定设置有一根转杆，转杆的两端通过轴承转动连接在下箱体相对的两侧内壁上，转杆的中部位置通过安装架设置反光面倾斜向上的反光镜；四根支杆的上端水平设置有一块透明板，透明板呈矩形且与下箱体四侧壁之间具有1-3mm间隙；在左侧和支杆和右侧的支杆上分别设置有一个马铃薯挡推机构，两个马铃薯挡推机构记构造相同且左右对称设置。

位于右侧的马铃薯挡推机构包括支撑板，支撑板固定连接在下箱体右侧外壁上，支撑板的下表面设置有挡推步进电机，挡推步进电机的主轴垂直向上穿过支撑板并同轴连接有第二齿轮，支撑板上表面转动连接有第三齿轮，第二齿轮和第三齿轮均位于透明板的右侧边沿的右侧，第三齿轮与第二齿轮啮合，第三齿轮上端面的中心固定连接有水平设置的挡推杆，挡推杆的下表面高于透明板上表面1-3mm，挡推杆的两端部关于第三齿轮的中心对称；两个马铃薯挡推机构的挡推杆在转动到呈一条直线时，两个挡推杆之间具有2-10mm的间隙，挡推杆在转动时穿过上箱体与下箱体之间的间隙。

上箱体内顶部的正中心处安装有摄像机，摄像机的***设置有环形LED灯；下箱体内底部设置有朝上照射的下LED灯。

上料输送机构和出料输送机构均包括多组前后衔接的或一组皮带输送机构，皮带输送机构包括支架，支架左侧或右侧设置有减速电机，支架上转动连接有主动辊和从动辊，主动辊和从动辊均沿左右方向水平设置，主动辊和从动辊之间通过环形的皮带转动连接，皮带外表面的中部间隔设置有若干个用于容纳单个马铃薯的凹槽，凹槽、输入口和输出口呈一条直线设置，减速电机的输出端设置有主动带轮，主动辊的一端设置有从动带轮，主动带轮和从动带轮通过V带传动连接。

控制模块包括嵌入式ARM单片机、I/O子模块、工业以太网通信子模块、显示子模块、灯光警示子模块和计算机；计算机是智能算法缺陷识别模块运行的物理载体，计算机与工业以太网通信子模块相连接；嵌入式ARM单片机与工业以太网通信子模块、I/O子模块、显示子模块和灯光警示子模块相连接，这是控制模块的核心子模块； I/O子模块分别与减速电机、挡推步进电机控制信号相连接，按照控制流程依次控制所对应的挡推步进电机有序动作，所述I/O子模块还与高压气流喷嘴机构中的电控气阀相连接，根据识别结果，打开或者关闭电控气阀；所述I/O子模块还连接并控制环形LED灯和下LED灯的开闭；所述计算机通过USB总线方式与摄像机相连接，通过工业以太网通信方式，计算机按嵌入式ARM单片机的指令，启动摄像机的拍照，第一次拍照重点获取马铃薯上部分图像，第二次拍照重点获取马铃薯下部分图像，并将照片存入到计算机中。

智能算法缺陷识别模块包括图像预处理子模块、图像分割子模块和多通道卷积网络子模块组成；所述图像预处理子模块对两次拍照的图像进行预处理，提升图像的质量，处理完后的图像发送到图像分割子模块；所述图像分割子模块对第一次拍照图像进行处理，获取马铃薯的实像边缘，并进行分割、缩放到256×256像素的固定尺寸，所述图像分割子模块对第二次拍照图像进行处理，获取马铃薯的四个虚像边缘，并进行分割、缩放到128×128像素的固定尺寸，所述图像分割子模块再将一个实像和四个虚像图像同时输送到所述多通道卷积网络子模块进行识别，检测马铃薯发芽、绿皮、破损或畸形一系列缺陷，并将检查结果通过工业以太网发送到控制模块。

基于虚实成像相结合的全景马铃薯缺陷检测装置的检测方法，包括以下步骤，

（1）、进入暗室检测装置前的准备阶段；通过控制模块控制减速电机的启停，上料输送机构的皮带上的每个凹槽内确保只有一个待运输的马铃薯出现，防止多个待检马铃薯同时进入到暗室检测装置；

（2）、暗室检测装置卡位阶段；马铃薯在进入暗室检测装置前，马铃薯挡推机构的挡推步进电机在控制模块的指示下，挡推步进电机驱动挡推杆呈前宽后窄的“八”字形布置，使得马铃薯在通过上箱体的输入口进入到透明板上后，迅速卡位到待检测位置；当马铃薯开始检测前，挡推步进电机在控制模块的指示下，挡推步进电机驱动挡推杆回到原始状态，呈“二”字形布置，便于摄像机拍照；

当马铃薯进入到透明板上后，由于重力的作用，透明板向下运动，四根支杆下压弹簧，支杆上的齿条结构驱动第一齿轮转动，与第一齿轮同轴的转杆转动，转杆转动带动反光镜转动，质量大的马铃薯使透明板下移的幅度大，质量小的马铃薯使透明板下移的幅度小；从而使得反光镜根据马铃薯的重力大小进行角度调整，有利于摄像机捕获四个反光镜内反射的马铃薯下部的四个虚像；

（3）、虚实成像检测阶段；先进行第一次拍照，获取待检测马铃薯上部分的图像，该图像为实像，控制模块里的嵌入式ARM单片机发出命令打开上箱体里顶部的环形LED灯，关闭下箱体底部的下LED灯，获取待测马铃薯的上部实像后，利用图像分割子模块对该实像进行处理，提取马铃薯的实像边缘，并进行分割、缩放到256×256像素的固定尺寸；接着进行第二次拍照，控制模块里的嵌入式ARM单片机发出命令打开下箱体底部的下LED灯，关闭上箱体里顶部的环形LED灯，四个反光镜中反射出反光镜中马铃薯下部的图像，该图像为虚像，摄像机获取待测马铃薯的下部的四个虚像后，分别提取马铃薯的四个虚像边缘，并进行分割、缩放到128×128像素的固定尺寸；图像分割子模块再将处理后的一个实像和四个虚像图像同时输送到所述多通道卷积网络子模块进行识别，检测马铃薯是否具有发芽、绿皮、破损或畸形的缺陷，并将检查结果通过工业以太网发送到控制模块；

（4）、推出暗室检测装置及分选阶段；检测完成后，挡推步进电机在控制模块的指示下，挡推步进电机反向转动驱动两根挡推杆成“V”字形布置，将马铃薯向后推出上箱体上的输出口，马铃薯移动到出料输送机构上；对于无缺陷的马铃薯在出料输送机构的输送下，直接移动到下一道工序进行处理，对于有缺陷的马铃薯，控制模块指示打开高压喷嘴机构里的电控气阀，高压喷嘴机构喷出高压气流将马铃薯推向出料输送机构的侧方，从缺陷马铃薯下滑板滑到缺陷马铃薯收集箱里。

步骤（3）中控制模块中的显示子模块根据检测的结果，显示当前运行阶段正常马铃薯的个数，各类缺陷马铃薯的个数，以及检测总数；当装置有异常时，通过灯光警示子模块进行警示；

步骤（3）智能算法缺陷识别模块中的图像预处理子模块、图像分割子模块和多通道卷积网络子模块的具体工作过程为；

经过图像分割子模块后的上部马铃薯实像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的A1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由多通道卷积网络子模块中的A2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的A3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由多通道卷积网络子模块中的A4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过多通道卷积网络子模块中的A5全连接层处理，输出4096维度的向量，再进一步，经过多通道卷积网络子模块中的A6全连接层处理，输出1024维度的向量；

经过图像分割子模块后的下部第一马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的B1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的B2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的B3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的B4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的B5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的B6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第二马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的C1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的C2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的C3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的C4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的C5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的C6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第三马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的D1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的D2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的D3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的D4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的D5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的D6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第四马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的E1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的E2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的E3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的E4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的E5全连接层处理，输出1024像素的向量，再进一步，经过多通道卷积网络子模块中的E6全连接层处理，输出256维度的向量；

最后，由多通道卷积网络子模块中的A7汇集层，对A6全连接层输出1024维度的向量、B6全连接层输出256维度的向量、C6全连接层输出256维度的向量、D6全连接层输出256维度的向量和E6全连接层输出256维度的向量执行集合加法操作，生成表征马铃薯全景表面的缺陷特征信息，为2048维度的向量，再由多通道卷积网络子模块中的A8软回归层输出5维向量，表示待检测马铃薯属于正常、发芽、绿皮、破损或畸形表面缺陷的概率密度分布，从而辨识待检马铃薯是否存在缺陷；

多通道卷积网络子模块包含5个通道，可一次性输入1幅待检测马铃薯上部份实像图像和4幅下部份虚像图像；多通道卷积网络子模块的离线训练样本库可以增加样本数量；因而，马铃薯的发芽、绿皮、破损、畸形种类可以随着样本数量的增加而进一步细分；多通道卷积网络子模块既可以由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新；本装置支持多版本的多通道卷积网络子模块，可由最终用户根据实际应用场景进行自主选择。

采用上述技术方案，本发明具有以下技术效果：

本发明的基于虚实成像相结合全景对马铃薯缺陷进行检测，通过单一摄像机，在不翻转待检马铃薯的前提下，即可实现在全景拍照检测，一方面可以有效避免马铃薯表皮的碰伤、破损，另外一方面通过单一摄像机，降低了装置成本，并提高了检测效率，利用多通道卷积神经网络，提升检测的准确率。本发明能用于马铃薯农产品缺陷在线实时检测，对于提升我国马铃薯农产品深加工的发展具有重要的意义，而且市场应用前景较好。

附图说明

图1为本发明的整体结构示意图；

图2为本发明中暗室检测装置的上箱体和下箱体外部结构示意图；

图3为本发明中暗室检测装置的上箱体的仰视图；

图4为本发明中暗室检测装置的下箱体内部结构示意图；

图5是挡推杆的动作位置示意图；

图6是对小尺寸待检马铃薯虚实成像相结合的拍照原理图；

图7是对大尺寸待检马铃薯虚实成像相结合的拍照原理图

图8是反光镜（平面镜及凸面镜）光学虚像示意图；

图9是控制模块逻辑连接示意图；

图10是多通道卷积网络子模块示意图。

具体实施方式

如图 1 –图8所示，本发明的基于虚实成像相结合的全景马铃薯缺陷检测装置，包括输送装置、虚实成像相结合式暗室检测装置37和控制箱1；

输送装置包括上料输送机构、出料输送机构、高压气流喷嘴机构2、缺陷马铃薯下滑板3和缺陷马铃薯收集箱4；上料输送机构后侧的输出端与虚实成像相结合式暗室检测装置37前侧的输入口5连接，虚实成像相结合式暗室检测装置37后侧的输出口6与出料输送机构前侧的输入端连接；高压气流喷嘴机构2设置在出料输送机构的左侧，缺陷马铃薯下滑板3位于出料输送机构的右侧并与高压气流喷嘴机构2左右相对设置，缺陷马铃薯下滑板3呈左高右低倾斜设置，缺陷马铃薯收集箱4设置在缺陷马铃薯下滑板3右侧边的下方；出料输送机构的后侧输出端为合格马铃薯出口；高压气流喷嘴机构2进气口与工厂气源或者空压机相连接（为本领域常规技术，图中未标识）。

控制箱1内设置有控制模块和智能算法缺陷识别模块，控制模块通过工业以太网分别与输送装置和虚实成像相结合式暗室检测装置37连接，智能算法缺陷识别模块与控制模块连接。

虚实成像相结合式暗室检测装置37包括垂直设置的四根立柱7，四根立柱7之间设置有顶部敞口的下箱体8，每根立柱7的上端均通过螺栓连接有一个连接件9，四个连接件9之间设置有底部敞口的上箱体10，上箱体10与下箱体8上下相对设置且具有间隙，虚实成像相结合式暗室检测装置37前侧的输入口5和后侧的输出口6分别设置在上箱体10的前侧下部和后侧下部，输入口5和输出口6前后对应设置；

下箱体8内底部设置有四个顶部敞口的支座套11，四个支座套11分别邻近下箱体8的四个侧壁，四个支座套11的连线为菱形，每个支座套11内均设置有一个弹簧12，弹簧12上端高于支座套11，每个弹簧12内均插设有一根沿垂直方向设置的支杆13，支杆13上设置有与弹簧12上端顶压配合的挡环14，支杆13下端伸入到支座套11内并距离支座套11底部2-5cm，左侧支杆13的下部的右侧、右侧支杆13的下部的左侧、前侧支杆13的下部的后侧以及后侧支杆13的下部的前侧均设置有齿条结构15，每个齿条结构15均啮合有一个第一齿轮16，第一齿轮16的中心同轴向固定设置有一根转杆17，转杆17的两端通过轴承18转动连接在下箱体8相对的两侧内壁上，转杆17的中部位置通过安装架19设置反光面倾斜向上的反光镜20；四根支杆13的上端水平设置有一块透明板21，透明板21呈矩形且与下箱体8四侧壁之间具有1-3mm间隙；在左侧和支杆13和右侧的支杆13上分别设置有一个马铃薯挡推机构，两个马铃薯挡推机构记构造相同且左右对称设置。

位于右侧的马铃薯挡推机构包括支撑板22，支撑板22固定连接在下箱体8右侧外壁上，支撑板22的下表面设置有挡推步进电机23，挡推步进电机23的主轴垂直向上穿过支撑板22并同轴连接有第二齿轮24，支撑板22上表面转动连接有第三齿轮25，第二齿轮24和第三齿轮25均位于透明板21的右侧边沿的右侧，第三齿轮25与第二齿轮24啮合，第三齿轮25上端面的中心固定连接有水平设置的挡推杆26，挡推杆26的下表面高于透明板21上表面1-3mm，挡推杆26的两端部关于第三齿轮25的中心对称；两个马铃薯挡推机构的挡推杆26在转动到呈一条直线时，两个挡推杆26之间具有2-10mm的间隙，挡推杆26在转动时穿过上箱体10与下箱体8之间的间隙。

上箱体10内顶部的正中心处安装有摄像机27，摄像机27的***设置有环形LED灯28；下箱体8内底部设置有朝上照射的下LED灯（图中未示出）。

上料输送机构和出料输送机构均包括多组前后衔接的或一组皮带输送机构，皮带输送机构包括支架29，支架29左侧或右侧设置有减速电机30，支架29上转动连接有主动辊31和从动辊32，主动辊31和从动辊32均沿左右方向水平设置，主动辊31和从动辊32之间通过环形的皮带33转动连接，皮带33外表面的中部间隔设置有若干个用于容纳单个马铃薯的凹槽（图中未示意），凹槽、输入口5和输出口6呈一条直线设置，减速电机30的输出端设置有主动带轮34，主动辊31的一端设置有从动带轮35，主动带轮34和从动带轮35通过V带36传动连接。

如图9和图10所示，控制模块包括嵌入式ARM单片机、I/O子模块、工业以太网通信子模块、显示子模块、灯光警示子模块和计算机；计算机是智能算法缺陷识别模块运行的物理载体，计算机与工业以太网通信子模块相连接；嵌入式ARM单片机与工业以太网通信子模块、I/O子模块、显示子模块和灯光警示子模块相连接，这是控制模块的核心子模块； I/O子模块分别与减速电机30、挡推步进电机23控制信号相连接，按照控制流程依次控制所对应的挡推步进电机23有序动作，所述I/O子模块还与高压气流喷嘴机构2中的电控气阀相连接，根据识别结果，打开或者关闭电控气阀；所述I/O子模块还连接并控制环形LED灯28和下LED灯的开闭；所述计算机通过USB总线方式与摄像机27相连接，通过工业以太网通信方式，计算机按嵌入式ARM单片机的指令，启动摄像机27的拍照，第一次拍照重点获取马铃薯上部分图像，第二次拍照重点获取马铃薯下部分图像，并将照片存入到计算机中。

智能算法缺陷识别模块包括图像预处理子模块、图像分割子模块和多通道卷积网络子模块组成；所述图像预处理子模块对两次拍照的图像进行预处理，提升图像的质量，处理完后的图像发送到图像分割子模块；所述图像分割子模块对第一次拍照图像进行处理，获取马铃薯的实像边缘，并进行分割、缩放到256×256像素的固定尺寸，所述图像分割子模块对第二次拍照图像进行处理，获取马铃薯的四个虚像边缘，并进行分割、缩放到128×128像素的固定尺寸，所述图像分割子模块再将一个实像和四个虚像图像同时输送到所述多通道卷积网络子模块进行识别，检测马铃薯发芽、绿皮、破损或畸形一系列缺陷，并将检查结果通过工业以太网发送到控制模块。智能算法缺陷识别模块运行在计算机环境里，控制模块、智能算法缺陷识别模块和计算机为本领域常见技术，具体型号不再列举。

基于虚实成像相结合的全景马铃薯缺陷检测装置的检测方法，包括以下步骤：

（1）、进入暗室检测装置前的准备阶段；通过控制模块控制减速电机30的启停，上料输送机构的皮带33上的每个凹槽内确保只有一个待运输的马铃薯出现，防止多个待检马铃薯同时进入到暗室检测装置；

（2）、暗室检测装置卡位阶段；马铃薯在进入暗室检测装置前，马铃薯挡推机构的挡推步进电机23在控制模块的指示下，挡推步进电机23驱动挡推杆26呈前宽后窄的“八”字形布置，使得马铃薯在通过上箱体10的输入口5进入到透明板21上后，迅速卡位到待检测位置；当马铃薯开始检测前，挡推步进电机23在控制模块的指示下，挡推步进电机23驱动挡推杆26回到原始状态，呈“二”字形布置，便于摄像机27拍照；

当马铃薯进入到透明板21上后，由于重力的作用，透明板21向下运动，四根支杆13下压弹簧12，支杆13上的齿条结构15驱动第一齿轮16转动，与第一齿轮16同轴的转杆17转动，转杆17转动带动反光镜20转动，质量大的马铃薯使透明板21下移的幅度大，质量小的马铃薯使透明板21下移的幅度小；从而使得反光镜20根据马铃薯的重力大小进行角度调整，有利于摄像机27捕获四个反光镜20内反射的马铃薯下部的四个虚像；

为了获取待检马铃薯底部的图像特征，配置两套（相对放置）反光镜20即可完成虚实成像相结合的全景马铃薯缺陷检测，但是，对于大尺寸的马铃薯，存在因装置空间太紧凑，不能放置大尺寸反光镜20，因此，另外配置两套（相对放置）反光镜20，其中反光镜20可由平面镜改为凸面镜，图8是平面镜及凸面镜虚像光学成像示意图；因而，由于待检马铃薯的遮挡，在平面镜中不能完全成像的马铃薯，可在凸面镜完全成像，提升本装置检测的适应范围。

（3）、虚实成像检测阶段；先进行第一次拍照，获取待检测马铃薯上部分的图像，该图像为实像，控制模块里的嵌入式ARM单片机发出命令打开上箱体10里顶部的环形LED灯28，关闭下箱体8底部的下LED灯，获取待测马铃薯的上部实像后，利用图像分割子模块对该实像进行处理，提取马铃薯的实像边缘，并进行分割、缩放到256×256像素的固定尺寸；接着进行第二次拍照，控制模块里的嵌入式ARM单片机发出命令打开下箱体8底部的下LED灯，关闭上箱体10里顶部的环形LED灯28，四个反光镜20中反射出马铃薯下部的图像，该图像为虚像，摄像机27获取待测马铃薯的下部的四个虚像后，分别提取马铃薯的四个虚像边缘，并进行分割、缩放到128×128像素的固定尺寸；图像分割子模块再将处理后的一个实像和四个虚像图像同时输送到所述多通道卷积网络子模块进行识别，检测马铃薯是否具有发芽、绿皮、破损或畸形的缺陷，并将检查结果通过工业以太网发送到控制模块；

（4）、推出暗室检测装置及分选阶段；检测完成后，挡推步进电机23在控制模块的指示下，挡推步进电机23反向转动驱动两根挡推杆26成“V”字形布置，将马铃薯向后推出上箱体10上的输出口6，马铃薯移动到出料输送机构上；对于无缺陷的马铃薯在出料输送机构的输送下，直接移动到下一道工序进行处理，对于有缺陷的马铃薯，控制模块指示打开高压喷嘴机构里的电控气阀，高压喷嘴机构喷出高压气流将马铃薯推向出料输送机构的侧方，从缺陷马铃薯下滑板3滑到缺陷马铃薯收集箱4里。

步骤（3）中控制模块中的显示子模块根据检测的结果，显示当前运行阶段正常马铃薯的个数，各类缺陷马铃薯的个数，以及检测总数；当装置有异常时，通过灯光警示子模块进行警示；

如图9所示，步骤（3）智能算法缺陷识别模块中的图像预处理子模块、图像分割子模块和多通道卷积网络子模块的具体工作过程为；

经过图像分割子模块后的上部马铃薯实像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的A1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由多通道卷积网络子模块中的A2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的A3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由多通道卷积网络子模块中的A4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过多通道卷积网络子模块中的A5全连接层处理，输出4096维度的向量，再进一步，经过多通道卷积网络子模块中的A6全连接层处理，输出1024维度的向量；

经过图像分割子模块后的下部第一马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的B1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的B2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的B3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的B4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的B5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的B6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第二马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的C1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的C2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的C3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的C4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的C5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的C6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第三马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的D1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的D2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的D3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的D4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的D5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的D6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第四马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的E1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的E2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的E3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的E4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的E5全连接层处理，输出1024像素的向量，再进一步，经过多通道卷积网络子模块中的E6全连接层处理，输出256维度的向量；

最后，由多通道卷积网络子模块中的A7汇集层，对A6全连接层输出1024维度的向量、B6全连接层输出256维度的向量、C6全连接层输出256维度的向量、D6全连接层输出256维度的向量和E6全连接层输出256维度的向量执行集合加法操作，生成表征马铃薯全景表面的缺陷特征信息，为2048维度的向量，再由多通道卷积网络子模块中的A8软回归层输出5维向量，表示待检测马铃薯属于正常、发芽、绿皮、破损或畸形表面缺陷的概率密度分布，从而辨识待检马铃薯是否存在缺陷；

多通道卷积网络子模块包含5个通道，可一次性输入1幅待检测马铃薯上部份实像图像和4幅下部份虚像图像；多通道卷积网络子模块的离线训练样本库可以增加样本数量；因而，马铃薯的发芽、绿皮、破损、畸形种类可以随着样本数量的增加而进一步细分；多通道卷积网络子模块既可以由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新；本装置支持多版本的多通道卷积网络子模块，可由最终用户根据实际应用场景进行自主选择。

本实施例并非对本发明的形状、材料、结构等作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.基于虚实成像相结合的全景马铃薯缺陷检测装置，其特征在于：包括输送装置、虚实成像相结合式暗室检测装置和控制箱；

输送装置包括上料输送机构、出料输送机构、高压气流喷嘴机构、缺陷马铃薯下滑板和缺陷马铃薯收集箱；上料输送机构后侧的输出端与虚实成像相结合式暗室检测装置前侧的输入口连接，虚实成像相结合式暗室检测装置后侧的输出口与出料输送机构前侧的输入端连接；高压气流喷嘴机构设置在出料输送机构的左侧，缺陷马铃薯下滑板位于出料输送机构的右侧并与高压气流喷嘴机构左右相对设置，缺陷马铃薯下滑板呈左高右低倾斜设置，缺陷马铃薯收集箱设置在缺陷马铃薯下滑板右侧边的下方；出料输送机构的后侧输出端为合格马铃薯出口；

控制箱内设置有控制模块和智能算法缺陷识别模块，控制模块通过工业以太网分别与输送装置和虚实成像相结合式暗室检测装置连接，智能算法缺陷识别模块与控制模块连接。

2.根据权利要求1所述的基于虚实成像相结合的全景马铃薯缺陷检测装置，其特征在于：虚实成像相结合式暗室检测装置包括垂直设置的四根立柱，四根立柱之间设置有顶部敞口的下箱体，每根立柱的上端均通过螺栓连接有一个连接件，四个连接件之间设置有底部敞口的上箱体，上箱体与下箱体上下相对设置且具有间隙，虚实成像相结合式暗室检测装置前侧的输入口和后侧的输出口分别设置在上箱体的前侧下部和后侧下部，输入口和输出口前后对应设置；

下箱体内底部设置有四个顶部敞口的支座套，四个支座套分别邻近下箱体的四个侧壁，四个支座套的连线为菱形，每个支座套内均设置有一个弹簧，弹簧上端高于支座套，每个弹簧内均插设有一根沿垂直方向设置的支杆，支杆上设置有与弹簧上端顶压配合的挡环，支杆下端伸入到支座套内并距离支座套底部2-5cm，左侧支杆的下部的右侧、右侧支杆的下部的左侧、前侧支杆的下部的后侧以及后侧支杆的下部的前侧均设置有齿条结构，每个齿条结构均啮合有一个第一齿轮，第一齿轮的中心同轴向固定设置有一根转杆，转杆的两端通过轴承转动连接在下箱体相对的两侧内壁上，转杆的中部位置通过安装架设置反光面倾斜向上的反光镜；四根支杆的上端水平设置有一块透明板，透明板呈矩形且与下箱体四侧壁之间具有1-3mm间隙；在左侧和支杆和右侧的支杆上分别设置有一个马铃薯挡推机构，两个马铃薯挡推机构记构造相同且左右对称设置。

3.根据权利要求2所述的基于虚实成像相结合的全景马铃薯缺陷检测装置，其特征在于：位于右侧的马铃薯挡推机构包括支撑板，支撑板固定连接在下箱体右侧外壁上，支撑板的下表面设置有挡推步进电机，挡推步进电机的主轴垂直向上穿过支撑板并同轴连接有第二齿轮，支撑板上表面转动连接有第三齿轮，第二齿轮和第三齿轮均位于透明板的右侧边沿的右侧，第三齿轮与第二齿轮啮合，第三齿轮上端面的中心固定连接有水平设置的挡推杆，挡推杆的下表面高于透明板上表面1-3mm，挡推杆的两端部关于第三齿轮的中心对称；两个马铃薯挡推机构的挡推杆在转动到呈一条直线时，两个挡推杆之间具有2-10mm的间隙，挡推杆在转动时穿过上箱体与下箱体之间的间隙。

4.根据权利要求2所述的基于虚实成像相结合的全景马铃薯缺陷检测装置，其特征在于：上箱体内顶部的正中心处安装有摄像机，摄像机的***设置有环形LED灯；下箱体内底部设置有朝上照射的下LED灯。

5.根据权利要求1所述的基于虚实成像相结合的全景马铃薯缺陷检测装置，其特征在于：上料输送机构和出料输送机构均包括多组前后衔接的或一组皮带输送机构，皮带输送机构包括支架，支架左侧或右侧设置有减速电机，支架上转动连接有主动辊和从动辊，主动辊和从动辊均沿左右方向水平设置，主动辊和从动辊之间通过环形的皮带转动连接，皮带外表面的中部间隔设置有若干个用于容纳单个马铃薯的凹槽，凹槽、输入口和输出口呈一条直线设置，减速电机的输出端设置有主动带轮，主动辊的一端设置有从动带轮，主动带轮和从动带轮通过V带传动连接。

6.根据权利要求5所述的基于虚实成像相结合的全景马铃薯缺陷检测装置，其特征在于：控制模块包括嵌入式ARM单片机、I/O子模块、工业以太网通信子模块、显示子模块、灯光警示子模块和计算机；计算机是智能算法缺陷识别模块运行的物理载体，计算机与工业以太网通信子模块相连接；嵌入式ARM单片机与工业以太网通信子模块、I/O子模块、显示子模块和灯光警示子模块相连接，这是控制模块的核心子模块； I/O子模块分别与减速电机、挡推步进电机控制信号相连接，按照控制流程依次控制所对应的挡推步进电机有序动作，所述I/O子模块还与高压气流喷嘴机构中的电控气阀相连接，根据识别结果，打开或者关闭电控气阀；所述I/O子模块还连接并控制环形LED灯和下LED灯的开闭；所述计算机通过USB总线方式与摄像机相连接，通过工业以太网通信方式，计算机按嵌入式ARM单片机的指令，启动摄像机的拍照，第一次拍照重点获取马铃薯上部分图像，第二次拍照重点获取马铃薯下部分图像，并将照片存入到计算机中。

7.根据权利要求6所述的基于虚实成像相结合的全景马铃薯缺陷检测装置，其特征在于：智能算法缺陷识别模块包括图像预处理子模块、图像分割子模块和多通道卷积网络子模块组成；所述图像预处理子模块对两次拍照的图像进行预处理，提升图像的质量，处理完后的图像发送到图像分割子模块；所述图像分割子模块对第一次拍照图像进行处理，获取马铃薯的实像边缘，并进行分割、缩放到256×256像素的固定尺寸，所述图像分割子模块对第二次拍照图像进行处理，获取马铃薯的四个虚像边缘，并进行分割、缩放到128×128像素的固定尺寸，所述图像分割子模块再将一个实像和四个虚像图像同时输送到所述多通道卷积网络子模块进行识别，检测马铃薯发芽、绿皮、破损或畸形一系列缺陷，并将检查结果通过工业以太网发送到控制模块。

8.采用如权利要求7所述的基于虚实成像相结合的全景马铃薯缺陷检测装置的检测方法，其特征在于：包括以下步骤，

（1）、进入暗室检测装置前的准备阶段；通过控制模块控制减速电机的启停，上料输送机构的皮带上的每个凹槽内确保只有一个待运输的马铃薯出现，防止多个待检马铃薯同时进入到暗室检测装置；

（2）、暗室检测装置卡位阶段；马铃薯在进入暗室检测装置前，马铃薯挡推机构的挡推步进电机在控制模块的指示下，挡推步进电机驱动挡推杆呈前宽后窄的“八”字形布置，使得马铃薯在通过上箱体的输入口进入到透明板上后，迅速卡位到待检测位置；当马铃薯开始检测前，挡推步进电机在控制模块的指示下，挡推步进电机驱动挡推杆回到原始状态，呈“二”字形布置，便于摄像机拍照；

当马铃薯进入到透明板上后，由于重力的作用，透明板向下运动，四根支杆下压弹簧，支杆上的齿条结构驱动第一齿轮转动，与第一齿轮同轴的转杆转动，转杆转动带动反光镜转动，质量大的马铃薯使透明板下移的幅度大，质量小的马铃薯使透明板下移的幅度小；从而使得反光镜根据马铃薯的重力大小进行角度调整，有利于摄像机捕获四个反光镜内反射的马铃薯下部的四个虚像；

（3）、虚实成像检测阶段；先进行第一次拍照，获取待检测马铃薯上部分的图像，该图像为实像，控制模块里的嵌入式ARM单片机发出命令打开上箱体里顶部的环形LED灯，关闭下箱体底部的下LED灯，获取待测马铃薯的上部实像后，利用图像分割子模块对该实像进行处理，提取马铃薯的实像边缘，并进行分割、缩放到256×256像素的固定尺寸；接着进行第二次拍照，控制模块里的嵌入式ARM单片机发出命令打开下箱体底部的下LED灯，关闭上箱体里顶部的环形LED灯，四个反光镜中反射出马铃薯下部的图像，该图像为虚像，摄像机获取待测反光镜中马铃薯的下部的四个虚像后，分别提取马铃薯的四个虚像边缘，并进行分割、缩放到128×128像素的固定尺寸；图像分割子模块再将处理后的一个实像和四个虚像图像同时输送到所述多通道卷积网络子模块进行识别，检测马铃薯是否具有发芽、绿皮、破损或畸形的缺陷，并将检查结果通过工业以太网发送到控制模块；

（4）、推出暗室检测装置及分选阶段；检测完成后，挡推步进电机在控制模块的指示下，挡推步进电机反向转动驱动两根挡推杆成“V”字形布置，将马铃薯向后推出上箱体上的输出口，马铃薯移动到出料输送机构上；对于无缺陷的马铃薯在出料输送机构的输送下，直接移动到下一道工序进行处理，对于有缺陷的马铃薯，控制模块指示打开高压喷嘴机构里的电控气阀，高压喷嘴机构喷出高压气流将马铃薯推向出料输送机构的侧方，从缺陷马铃薯下滑板滑到缺陷马铃薯收集箱里。

9.根据权利要求8所述的检测装置方法，其特征在于：步骤（3）中控制模块中的显示子模块根据检测的结果，显示当前运行阶段正常马铃薯的个数，各类缺陷马铃薯的个数，以及检测总数；当装置有异常时，通过灯光警示子模块进行警示。

10.根据权利要求8所述的检测装置方法，其特征在于：步骤（3）智能算法缺陷识别模块中的图像预处理子模块、图像分割子模块和多通道卷积网络子模块的具体工作过程为；

经过图像分割子模块后的上部马铃薯实像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的A1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由多通道卷积网络子模块中的A2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的A3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由多通道卷积网络子模块中的A4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过多通道卷积网络子模块中的A5全连接层处理，输出4096维度的向量，再进一步，经过多通道卷积网络子模块中的A6全连接层处理，输出1024维度的向量；

经过图像分割子模块后的下部第一马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的B1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的B2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的B3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的B4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的B5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的B6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第二马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的C1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的C2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的C3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的C4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的C5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的C6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第三马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的D1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的D2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的D3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的D4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的D5全连接层处理，输出1024维度的向量，再进一步，经过多通道卷积网络子模块中的D6全连接层处理，输出256维度的向量；

经过图像分割子模块后的下部第四马铃薯虚像，转换为RGB单色3幅图像，送入多通道卷积网络子模块中的E1卷积层，采用5×5窗口卷积操作后，生成126×126像素的15幅图像，再由多通道卷积网络子模块中的E2池化层进行压缩处理，生成63×63像素的15幅图像，之后，进行第二次卷积操作，送入多通道卷积网络子模块中的E3卷积层，采用3×3窗口卷积操作后，生成61×61像素的60幅图像，再由多通道卷积网络子模块中的E4池化层进行压缩处理，生成31×31像素的60幅图像，进一步，经过多通道卷积网络子模块中的E5全连接层处理，输出1024像素的向量，再进一步，经过多通道卷积网络子模块中的E6全连接层处理，输出256维度的向量；

最后，由多通道卷积网络子模块中的A7汇集层，对A6全连接层输出1024维度的向量、B6全连接层输出256维度的向量、C6全连接层输出256维度的向量、D6全连接层输出256维度的向量和E6全连接层输出256维度的向量执行集合加法操作，生成表征马铃薯全景表面的缺陷特征信息，为2048维度的向量，再由多通道卷积网络子模块中的A8软回归层输出5维向量，表示待检测马铃薯属于正常、发芽、绿皮、破损或畸形表面缺陷的概率密度分布，从而辨识待检马铃薯是否存在缺陷；

多通道卷积网络子模块包含5个通道，可一次性输入1幅待检测马铃薯上部份实像图像和4幅下部份虚像图像；多通道卷积网络子模块的离线训练样本库可以增加样本数量；因而，马铃薯的发芽、绿皮、破损、畸形种类可以随着样本数量的增加而进一步细分；多通道卷积网络子模块既可以由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新；本装置支持多版本的多通道卷积网络子模块，可由最终用户根据实际应用场景进行自主选择。