CN116977274A - 适用于移动生产线上的坚果智能检测方法及*** - Google Patents
适用于移动生产线上的坚果智能检测方法及*** Download PDFInfo
- Publication number
- CN116977274A CN116977274A CN202310575519.1A CN202310575519A CN116977274A CN 116977274 A CN116977274 A CN 116977274A CN 202310575519 A CN202310575519 A CN 202310575519A CN 116977274 A CN116977274 A CN 116977274A
- Authority
- CN
- China
- Prior art keywords
- nut
- point cloud
- point
- algorithm
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000007547 defect Effects 0.000 claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 206010027146 Melanoderma Diseases 0.000 claims description 2
- 230000001788 irregular Effects 0.000 abstract description 3
- 235000013399 edible fruits Nutrition 0.000 description 31
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 244000061456 Solanum tuberosum Species 0.000 description 4
- 235000002595 Solanum tuberosum Nutrition 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 241000227653 Lycopersicon Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000012730 carminic acid Nutrition 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000012015 potatoes Nutrition 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- SUBDBMMJDZJVOS-UHFFFAOYSA-N 5-methoxy-2-{[(4-methoxy-3,5-dimethylpyridin-2-yl)methyl]sulfinyl}-1H-benzimidazole Chemical compound N=1C2=CC(OC)=CC=C2NC=1S(=O)CC1=NC=C(C)C(OC)=C1C SUBDBMMJDZJVOS-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及不规则物体的计量和图像识别领域，公开了一种适用于移动生产线上的坚果智能检测方法及***，包括使用Azure Kinect相机采集坚果点云数据并进行降噪、点云裁剪预处理；将背景点云和坚果点云分割进行分割；对背景点云进行平面拟合，再将其旋转至基准面；搜素局部点云最高点为单个坚果顶点；利用Horn’s Method算法进行配准；提出PNN算法将多个坚果点云分割为单个坚果点云；基于改进的SBF算法对单个坚果点云边缘噪声进行去除；基于最小二乘椭球拟合算法拟合去噪后单个坚果点云拟合参数求得坚果体积；结合光学图像和热红外图像获取坚果缺陷位置；本发明可广泛应用于不规则三维物体的计量和识别领域。
Description
技术领域
本发明涉及不规则物体的计量和图像识别领域，尤其涉及适用于移动生产线上的坚果智能检测方法及***。
背景技术
在我国坚果生产加工产业快速发展的过程中，面临着各种各样的问题。主要有我国的坚果产后附加值相对不高，坚果采摘后的后续处理技术采用率相对低，商品化处理方式相对落后。这些问题不仅严重影响坚果的品质，更是制约了坚果的价格。随着国民经济的持续健康发展，人民群众收入稳步提高，消费结构也在不断优化升级。具体到坚果的消费层面上来说，消费者必然会对坚果的外观、齐整度及其内在品质提出更高的期望。在这样的形势下，对坚果的商品化处理自然也就会提出更高的要求。而坚果商品化处理的首要步骤就是要进行坚果的分选分级，按照质量检验的标准对坚果进行分级并及时地将残次品剔除；在坚果的动态品质筛选过程中，能够自动识别出坚果坏果并获取坚果缺陷位置。虽然现在的机器视觉技术正在快速发展，但是在到坚果的生产加工过程中实际应用，还存在许多不足。例如在坚果尺寸、体积方面还是主要以人工和机械设备相结合为主，在坚果的坏果识别方面还是需要依靠果农经验，以人工判别为主。但在如今自动化的时代人工分拣成本较高，时间较长且准确率低，且容易存在经验差异导致的误差，不能对分拣后坚果质量问题进行保证。
近年来，随着机器视觉技术，计算机硬件技术、图像处理技术、模式识别和人工智能的技术的发展，以及坚果分级标准及体系的完善，越来越多的现代科技与传统坚果分级技术相结合，为坚果的计数、智能测量和品质检测提供了新的途径。
图像测量法：2010年，周平等在《基于机器视觉的鸡蛋体积与表面积计算方法》一文中利用机器视觉技术测量鸡蛋的体积和表面积，假设鸡蛋图像关于纵轴对称，提出利用图像像素测量鸡蛋的体积Vp和表面积Sp，并应用排水法和陀螺仪测鸡蛋的体积V和表面积S，建立体积Vp与V和表面积Sp与S之间的关系模型，相关系数r分别为0.965和0.971，鸡蛋体积与实测体积相比准确率达到92％，鸡蛋表面积与实测体积相比准确率达到88％，为在线测量鸡蛋的几何特征参数提供了新的参考方法，具有一定的实用价值。该类图像测量方法优点在于方法简单、成本低，缺点在于精度不高、对环境光的要求高。
CT成像法：2015年，Rogge等在《A3D contour based geometrical modelgenerator for complex-shaped horticultural products》一文中提出一种新的农产品几何模型建立的新方法，采用X射线获取水果的CT图像，水果的3D轮廓由2D图像轮廓信号经坐标变换构成，3D轮廓模型直接导入CAD软件对模型进行网格划分生成几何模型，测量几何模型的体积和表面积。该类CT成像方法优点在于精度高，缺点在于操作复杂、设备价格昂贵、数据处理繁琐。
双目成像法：2010年，M.Omid等在《Estimating volume and mass of citrusfruits by image processing technique》一文中使用两个摄像头来重建水果的三维模型。水果体积是通过将水果图像分割成若干基本的椭圆形平截头体来计算的。使用VB程序将体积计算为各个平截头体的体积之和。计算的体积与排水法测定的实际体积吻合良好。该类双目成像方法优点在于成本低、算法较成熟，缺点在于对环境光和物理表面纹理有一定依赖。
深度相机测量法：2017年，QinghuaSu等在《Potato feature prediction basedon machine vision and 3D model rebuilding》一文中利用PrimeSense Carmine深度相机搭建图像采集***，采集110个马铃薯深度图像，并对图像进行处理，提取图像长度，宽度，厚度和体积等特征参数，计算图像测量值和手工测量值之间的误差。结果表明，长度，宽度和厚度之间的平均误差分别为2.5％，3.5％和4.4％，另外3D体积模型能够准确区分正常马铃薯和非正常马铃薯，其中体积正确分级率为93％，表面积的正确分率为73％。PrimeSense Carmine深度相机可实现农产品尺寸，形状，体积和表面积等特征参数测量和分级。该类深度相机测量方法优点在于精度高、成本低，缺点目前的算法还不成熟。
三维点云测量法：《果树单树产量测量的方法和***》通过获取果树的三维点云数据，并进行预处理得到果树三维点云数据集；对果树三维点云数据集进行分割得到只包含果实信息的果实三维点云数据集；对果实三维点云数据集进行统计，得到N个果实三维点云数据子集和果实个数N；根据果实三维点云数据子集计算出相对应的每个果实的果实半径，得到果实半径数组；根据果实半径与果实质量的关系模型中的基础参数一一计算出果实半径数组中的每个果实半径对应的果实质量，累加计算出整株果树的产量。该方法对于点云数据的处理繁琐，更多依赖于现有的方法和软件，没有做到技术和算法上的创新，且由于不同果树之间和器官间的遮挡，以及其他外部条件(如风吹)的影响，导致对表型参数的测量精度不够高。
机器视觉技术：伴随着人工智能的发展，很多学者研究视角转向深度学习。Baigvand.M设计了一种基于计算机视觉的无花果分级***，首先采用CCD相机完成对无花果的品质检测，然后通过输送机构，将无花果划分为5个等级；Arakeri.M.P在《ComputerVision Based Fruit Grading System for Quality Evaluation of Tomato inAgriculture industry》研发设计了一款基于机器视觉的西红柿分级***，提升了分级***的自动化程度和分级效率。但这两个研究都没有做到对西红柿的动态品质检测，导致不能够让品质检测更加智能化和精细化。
综上所述，国内外对果实表型研究已经有一定的理论和技术，但现有的测量方法需要先进的设备仪器并且研究人员需要掌握一定的操作技术，成本和门槛较高，目前市面上坚果分拣机器均价达到五万左右，且结果容易存在经验差异导致的误差。因此成本低、准确度高、自动化和智能化的表型参数动态测量方法是未来分选分级、表型参数测量发展的方向。本发明只需一台约2000元深度相机、一台约2000元微型计算机和一台800元热红外相机及一条传送带即可正常运行工作。
发明内容
为了解决上述技术问题，本发明的目的是提供适用于移动生产线上的坚果智能检测方法及***，不仅能够精确、快速、无损地对坚果个数进行统计且测量出每个坚果的大小(包括体积、长和宽)，还可以针对传送带上的坚果进行动态品质检测，定位缺陷坚果位置。
本发明所采用的第一技术方案是：适用于移动生产线上的坚果智能检测方法，包括以下步骤：
使用Azure Kinect相机采集坚果点云数据并进行降噪、点云裁剪预处理；
基于点云颜色阈值将背景点云和坚果点云进行分割；
对背景点云进行平面拟合，再将背景点云和坚果点云旋转至基准面；
基于K最近邻点搜索方法，搜素局部点云最高点为单个坚果顶点；
利用不同帧单个坚果点云最高点基于Horn’s Method算法进行配准；
提出PNN算法将多个坚果点云分割为单个坚果点云；
基于改进的SBF算法对单个坚果点云边缘噪声进行去除；
基于最小二乘椭球拟合算法拟合去噪后单个坚果点云，根据拟合参数求得坚果体积、长宽表型参数；
结合光学图像和热红外图像基于Faster R-CNN网络对传送带上的坚果进行动态品质检测，定位坚果缺陷位置。
进一步，所述采集坚果点云数据并进行降噪、点云裁剪预处理具体包括：
Azure Kinect相机中心垂直正对被测物体并在离被测物体特定高度0.4m采集数据；
基于统计滤波算法和高斯滤波算法对原始点云数据进行降噪处理；
对坚果点云数据的中心区域进行提取，去除冗余点。
进一步，所述基于点云颜色阈值将背景点云和坚果点云进行分割这一步骤，其具体包括：
根据背景颜色设置R、G、B相应的阈值；
判断超过该阈值则为坚果点云；
判断不超过该阈值则为背景点云。
进一步，所述对背景进行平面拟合，再将背景点云和坚果点云旋转至基准面，也就是xOy平面这一步骤，其具体包括：
对背景点云运用RASANC平面拟合算法进行拟合求得平面方程参数；
根据平面方程将背景点云旋转至xOy平面并得到旋转矩阵；
基于旋转矩阵将坚果点云进行旋转。
进一步，所述基于K最近邻点搜索方法，搜素局部最高点为单个坚果顶点这一步骤，其具体包括：
基于K最近邻点搜索方法对每个坚果点云基于指定半径范围内搜索最高点，局部最高点即为单个坚果的最高点同时进行坚果计数。
进一步，所述利用不同帧单个坚果点云最高点基于Horn’s Method算法进行配准，其具体包括：
提取单个坚果点云最高点三维坐标，利用不同帧之间多个坚果点云最高点坐标基于Horn’s Method算法将相邻两帧坚果点云配准。
进一步，所述提出PNN算法将多个坚果点云分割为单个坚果点云这一步骤，其具体包括：
对所有坚果点云按高度降序排列，依次判断每个点离单个坚果点云最高点的平面距离；
若某点离坚果最高点的平面距离最小，则判断该点为平面距离最近的坚果点云。
进一步，所述基于改进的SBF算法对单个坚果点云边缘噪声进行去除这一步骤，其具体包括：
基于PCA算法投影判断单个坚果点云边缘是否为噪点，基于角度阈值将边缘噪声去除；
进一步，所述基于最小二乘椭球拟合算法拟合去噪后单个坚果点云，根据拟合参数求得坚果体积这一步骤，所述最小二乘椭球拟合公式的公式表示如下：
其中，x、y、z为单个坚果点云坐标，Φ、ψ、Ω是关于X、Y和Z轴的旋转角度，a、b、c为椭球的半轴参数，xc、yc、zc为椭球的中心，u、v是角度参数；
基于Faster R-CNN网络对传送带上的坚果进行动态品质检测，定位坚果缺陷位置。
进一步，所述结合光学图像和热红外图像基于Faster R-CNN网络对传送带上的坚果进行动态缺陷检测，定位坚果缺陷位置具体包括：
利用Azure Kinect相机采集到坚果光学图片和热红外图片，基于Faster R-CNN网络对破损、黑斑坚果进行图像检测，并定位缺陷坚果。
本发明所采用的第二技术方案是：适用于移动生产线上的坚果智能检测***，包括：
点云数据采集模块，使用Azure Kinect采集原始点云数据；
点云预处理模块，对原始点云进行去噪、点云裁剪预处理；
坚果点云与背景点云分割模块，基于点云颜色阈值分割背景点云数据和坚果数据；
不同帧坚果点云配准模块，不同帧单个坚果点云最高点基于Horn’s method算法进行配准；
单个坚果点云分割模块，提出PNN算法分割单个坚果点云，同时计算坚果个数；
单个坚果点云去噪模块，基于改进的SBF算法去除单个坚果点云边缘噪声；
坚果表型参数计算模块，基于最小二乘椭球拟合求出拟合后参数并根据参数求得坚果体积、长和宽；
基于深度学习缺陷坚果检测模块，结合光学图像和热红外图像基于Faster R-CNN网络对传送带上的坚果进行动态品质检测，获取坚果缺陷位置。
本发明方法及***的有益效果是：本发明利用Azure Kinect深度相机采集坚果的图像数据和深度信息；通过图像处理技术中的阈值分割方法及形态学处理方法，对点云颜色设置阈值分割背景点云数据和坚果数据，保证坚果测量的效率和准确性；在点云分割模块首次提出PNN算法来分割单个坚果点云，同时计算坚果个数；运用优化的点云去噪算法以及精度更高的拟合模型，得到每个坚果的表型特征参数；结合光学图像和热红外图像利用Faster R-CNN卷积神经网络对在传送带上的坚果进行动态品质检测，识别出坏果。对坚果的表型参数进行***性地测量，为我国坚果培育提供技术支持，并为其他作物表型参数的测量方法提供参考思路。在坚果品质检测中，使用深度学习对果农经验进行迁移学习，减少因为经验差异导致的误差。整个应用的技术流程、工作效率和质量都体现了传统手段无法比拟的优越性和独特性，能够精确、快速、无损地对坚果进行计数和表型特征参数测量，且使用成本低，可以有效助力农业自动化、智能化以及精细化管理，满足产业高速发展和食品质量安全的市场需求，有着广阔的市场前景。
附图说明
图1是本发明具体实施例适用于移动生产线上的坚果智能检测方法的步骤流程图；
图2是本发明具体实施例测量装置示意图；
图3是本发明具体实施例预处理后坚果点云数据示意图；
图4是本发明具体实施例多个坚果点云提取示意图；
图5是本发明具体实施例提出的PNN算法示意图；
图6是本发明具体实施例单个坚果点云分割示意图；
图7是本发明具体实施例椭球体积计算示意图；
图8是基于深度学习坚果坏果缺陷检测示意图；
图9是本发明具体实施例结合光学图像和热红外图像基于Faster R-CNN网络对传送带上的坚果进行动态品质检测，获取坚果缺陷位置示意图
图10是本发明具体实施例适用于移动生产线上的坚果智能检测***的结构框图；
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示，本发明提供了适用于移动生产线上的坚果智能检测方法，该方法包括以下步骤：
S1、使用Azure Kinect相机采集坚果点云数据并进行降噪、点云裁剪预处理；
具体地，参照图2，使用Azure Kinect相机获取坚果原始点云并对原始点云进行预处理，基于统计滤波算法和高斯滤波算法对原始点云数据进行降噪处理并对图像进行裁剪，得到裁剪后的坚果点云，参照图3预处理后点云示意图。
S2、基于点云颜色阈值分割坚果点云和背景点云；
S2.1、根据背景颜色设置R、G、B相应的阈值；
S2.2、判断超过该阈值则为坚果点云，参照图4分割后的坚果点云示意图；
S2.3、判断不超过该阈值则为背景点云。
S3、对背景点云进行平面拟合再背景点云和坚果点云旋转至xOy平面；
S3.1、对背景点云运用RASANC平面拟合算法进行拟合求得平面方程参数；
S3.2、根据平面方程将背景点云旋转至xOy平面并得到旋转矩阵；
S3.3、基于旋转矩阵将坚果点云进行旋转。
具体地，根据RASCAN平面算法拟合背景点云，求出平面法向量，进而求出与扫描坐标系X、Z轴的夹角Φ、Ω：
上式中，Φ、Ω分别表示X、Z轴三个方向的旋转角，R1、R3分别代表X和Z轴的旋转矩阵，X、Y、Z分别代表输入的点云三维坐标，X'、Y'、Z'表示经过两个旋转角旋转后的点云三维坐标；
S4、基于K最近邻点搜索方法，搜素局部最高点为单个坚果顶点；
具体地，参照图4坚果最高点示意图，基于K最近邻点搜索方法对每个坚果点云在指定半径范围内内搜索最高点，局部最高点即为单个坚果的最高点：
l＝max{Zi} (2)
上式中，Z为点云的Z坐标，l为点云Z坐标的最大值。
S5、基于不同帧坚果点云最高点利用Horn’s Method算法进行配准；
具体地，Horn’s Method算法步骤为计算点集合的中心点，将点集合移动到原点，计算最优旋转矩阵M，计算平移矩阵Txyz。
计算中心点公式表达如下：
上式中，P表示点云集合坐标，N表示点云集合点云个数，μA表示点云集A中心，μB表示点云集B中心。
点集重新中心化公式表达如下：
上式中，A’i表示原始点云集A中心化后的点云集，B’i表示原始点云集B中心化后的点云集。
计算点集之间的协方差矩阵H公式表达如下：
上式中，H表示点云集A和点云集B之间的协方差矩阵,N表示点云个数。
计算点集之间的旋转矩阵M和平移矩阵公式表达如下：
[U,S,V]＝SVD(H) (9)
M＝VUT (10)
Txyz＝-RμA+μB (11)
上式中，U、S、V分别代表SVD分解出来的三个值，M代表旋转矩阵，Txyz代表平移矩阵。
配准计算公式如下：
上式中，M代表旋转矩阵，X”、Y”、Z”分别代表输入的坚果点云最高点三维坐标，X”'、Y”'、Z”'表示经过旋转矩阵旋转后的坚果点云最高点三维坐标，Txyz代表平移矩阵。
S6、提出PNN算法将多个坚果点云分割为单个坚果点云；
对所有坚果点云按高度降序排列，依次判断每个点离单个坚果点云最高点的平面距离；
若某点离坚果最高点的平面距离最小则判断该点属于平面距离最近的坚果点云；
具体地，参照图5的PNN算法示意图，点A和点B是单个坚果的顶点，通过比较被分类点和坚果顶点之间的平面距离从而正确地将点分类为不同坚果，例如，当dAC<dBC满足时，点C被正确地分配给坚果#1。然后，将点D与点B、点C之间的平面距离进行比较，将点D划分为坚果#2。最后，依次类推，将所有坚果点云正确分割为单个坚果，参照图6的单个坚果点云分割示意图。
S7、基于改进的SBF算法对单个坚果点云边缘噪声进行去除；
具体地，基于K最近邻法搜索点xi半径为d的点，将邻域内的点集记为基于PCA算法计算点集/>的法向量n和另外两个分量向量u、v(n⊥u⊥v)，由点集中的查询点xi和点组成一个向量xj-xi，向量(xj-xi)uv是向量xj-xi在u和v构成的法平面上的投影。βj是向量(xj-xi)uv与u之间的夹角，夹角计算公式表示如下：
βj＝arccos{(xj-xi)uv,u} (13)
计算得到夹角集合△＝{βj|j∈{1,....,k}}，如果最大角度差满足max{βj+1-βj}>βthreshold，则xi被视为边缘点噪声需要去除。
S8、基于最小二乘椭球拟合算法拟合去噪后单个坚果点云，根据拟合参数求得坚果体积、长宽表型参数；
具体地，椭球模型的公式表示如下
上式中，x、y、z为单个坚果点云坐标，Φ、ψ、Ω是关于X、Y和Z轴的旋转角度，a、b、c为椭球的半轴参数，xc、yc、zc为椭球的中心，u、v是是角度参数；
具体地，使用高斯牛顿最小二乘算法去求得椭球参数，估计参数表示如下：
S9、根据椭球拟合参数计算单个坚果体积及长宽；
具体地，参照图7的椭球体积计算示意图，长为2a，宽为2b，单个坚果体积公式表示如下：
上式中，S为坚果椭球切片的表面积，V为坚果的体积。
S10、结合光学图像和热红外图像根据Faster R-CNN人工神经网络检测缺陷坚果，并进行定位；
具体地，光学坚果相片和linear stretching算法后的热红外相片经过分辨率降采样后，进入Faster R-CNN的提取网络提取分类坚果可能的特征，生成特征图(FeatureMap)。带有坚果坏果特征的特征图随后进入到目标检测网络的区域候选网络(RegionProposal Network)部分，该层由3×3卷积层、两个1×1卷积层、两个重组层和激活层组成，对输入特征图中的所有可能包含坚果坏果的区域(即候选区域)进行预测。输出的结果放在Proposal层中，该层负责对RPN网络中坚果坏果在图中的定位进行修正。接着，Proposal层与特征图共同放入兴趣域池化层(ROI Pooling层)中，该层是一种特殊的池化层，它收集Proposal层中的坚果坏果候选区域框的位置，并从特征图中在对应位置提取出来，生成特征候选框。特征候选框通过全连接层，最后通过回归与激活操作组成的分类层，分别对坚果坏果实现分类和位置确定，从而实现对坚果坏果的检测识别。参照图8和图9的Faster R-CNN人工神经网络框架及缺陷坚果检测情况。
如图10所示，适用于移动生产线上的坚果智能检测***，包括：
点云数据采集模块，使用Azure Kinect采集原始点云数据；
点云预处理模块，对原始点云进行去噪、点云裁剪预处理；
坚果点云与背景点云分割模块，基于点云颜色阈值分割背景点云数据和坚果数据；
单个坚果点云分割模块，提出PNN算法分割单个坚果点云，同时计算坚果个数；
不同帧坚果点云配准模块，利用不同帧单个坚果点云最高点进行配准；
单个坚果点云去噪模块，基于改进的SBF算法去除单个坚果点云边缘噪声；
坚果表型参数计算模块，基于最小二乘椭球拟合求出拟合后参数并根据参数求得坚果体积、长和宽；
坚果动态品质检测模块，结合光学图像和热红外图像基于Faster R-CNN网络识别坏果，并获取坚果缺陷位置。
上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
适用于移动生产线上的坚果智能检测***：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述适用于移动生产线上的坚果智能检测***。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如上所述一种适用于移动生产线上的低成本坚果三维测量及品质智能检测。
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.适用于移动生产线上的坚果智能检测方法，其特征在于，包括以下步骤：
使用Azure Kinect相机采集坚果点云数据并进行降噪、点云裁剪预处理；
基于点云颜色阈值将背景点云和坚果点云进行分割；
对背景点云进行平面拟合，再将背景点云和坚果点云旋转至基准面；
基于K最近邻点搜索方法，搜素局部点云最高点为单个坚果顶点；
利用不同帧单个坚果点云最高点基于Horn’s Method算法进行配准；
提出PNN算法将多个坚果点云分割为单个坚果点云；
基于改进的SBF算法对单个坚果点云边缘噪声进行去除；
基于最小二乘椭球拟合算法拟合去噪后单个坚果点云，根据拟合参数求得坚果体积和/或长宽表型参数；
结合光学图像和热红外图像，基于Faster R-CNN网络对传送带上的坚果进行动态品质检测，定位坚果缺陷位置。
2.根据权利要求1所述适用于移动生产线上的坚果智能检测方法，其特征在于，所述采集坚果点云数据并进行降噪、点云裁剪预处理这一步骤，其具体包括：
Azure Kinect相机中心垂直正对被测物体并在离被测物体特定高度0.4m采集数据；
基于统计滤波算法和高斯滤波算法对原始点云数据进行降噪处理；
对坚果点云数据的中心区域进行提取，去除冗余点。
3.根据权利要求1所述适用于移动生产线上的坚果智能检测方法，其特征在于，所述基于点云颜色阈值将背景点云和坚果点云进行分割这一步骤，其具体包括：
根据背景颜色设置R、G、B相应的阈值；
判断超过该阈值则为坚果点云；
判断不超过该阈值则为背景点云。
4.根据权利要求1所述适用于移动生产线上的坚果智能检测方法，其特征在于，所述对背景点云进行平面拟合，再将背景点云和坚果点云旋转至基准面这一步骤，其具体包括：
对背景点云运用RASANC平面拟合算法进行拟合求得平面方程参数；
根据平面方程将背景点云旋转至xOy平面并得到旋转矩阵；
基于旋转矩阵将坚果点云进行旋转。
5.根据权利要求1所述适用于移动生产线上的坚果智能检测方法，其特征在于，所述基于K最近邻点搜索方法，搜素局部最高点为单个坚果顶点这一步骤，其具体包括：
基于K最近邻点搜索方法对每个坚果点云基于指定半径范围内搜索最高点，局部最高点即为单个坚果的最高点同时进行坚果计数。
6.根据权利要求1所述适用于移动生产线上的坚果智能检测方法，其特征在于，所述利用不同帧单个坚果点云最高点基于Horn’s Method算法进行配准这一步骤，其具体包括：提取单个坚果点云最高点三维坐标，利用不同帧之间多个坚果点云最高点坐标基于Horn’sMethod算法将相邻两帧坚果点云配准。
7.根据权利要求1所述适用于移动生产线上的坚果智能检测方法，其特征在于，所述提出PNN算法将多个坚果点云分割为单个坚果点云这一步骤，其具体包括：
对所有坚果点云按高度降序排列，依次判断每个点离单个坚果点云最高点的平面距离；
若某点离坚果最高点的平面距离最小则判断该点分类为平面距离最近的坚果点云。
8.根据权利要求1所述适用于移动生产线上的坚果智能检测方法，其特征在于，所述基于最小二乘椭球拟合算法拟合去噪后单个坚果点云，根据拟合参数求得坚果体积这一步骤，所述椭球模型的公式表示如下：
其中，x、y、z为单个坚果点云坐标，Φ、ψ、Ω是关于X、Y和Z轴的旋转角度，a、b、c为椭球的半轴参数，xc、yc、zc为椭球的中心，u、v是角度参数；
根据高斯牛顿最小二乘拟合求得的参数计算单个坚果体积和/或长宽表型参数。
9.根据权利要求1所述适用于移动生产线上的坚果智能检测方法，其特征在于，所述结合光学图像和热红外图像，基于Faster R-CNN网络对传送带上的坚果进行动态品质检测，定位坚果缺陷位置这一步骤，其具体包括：
利用Azure Kinect相机和热红外相机采集到坚果光学图片和热红外图片，经过linear
stretching算法处理，基于Faster R-CNN网络对破损、黑斑坚果进行图像检测，并定位缺陷坚果。
10.适用于移动生产线上的坚果智能检测***，其特征在于，包括：
点云数据采集模块，使用Azure Kinect采集原始点云数据；
点云预处理模块，对原始点云进行去噪、点云裁剪预处理；
坚果点云与背景点云分割模块，基于点云颜色阈值分割背景点云数据和坚果数据；
不同帧坚果点云配准模块，不同帧单个坚果点云最高点基于Horn’s method算法进行配准；
单个坚果点云分割模块，提出PNN算法分割单个坚果点云，同时计算坚果个数；
单个坚果点云去噪模块，基于改进的SBF算法去除单个坚果点云边缘噪声；
坚果表型参数计算模块，基于最小二乘椭球拟合求出拟合后参数并根据参数求得坚果体积、长和宽；
基于深度学习缺陷坚果检测模块，结合光学图像和热红外图像，基于Faster R-CNN网络对传送带上的坚果进行动态品质检测，获取坚果缺陷位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310575519.1A CN116977274A (zh) | 2023-05-22 | 2023-05-22 | 适用于移动生产线上的坚果智能检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310575519.1A CN116977274A (zh) | 2023-05-22 | 2023-05-22 | 适用于移动生产线上的坚果智能检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116977274A true CN116977274A (zh) | 2023-10-31 |
Family
ID=88480369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310575519.1A Pending CN116977274A (zh) | 2023-05-22 | 2023-05-22 | 适用于移动生产线上的坚果智能检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977274A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105115976A (zh) * | 2015-06-24 | 2015-12-02 | 上海图甲信息科技有限公司 | 一种铁轨磨耗缺陷检测***及方法 |
| JP2016031321A (ja) * | 2014-07-30 | 2016-03-07 | アイシン精機株式会社 | 欠陥抽出装置及び欠陥抽出方法 |
| CN110853081A (zh) * | 2019-11-18 | 2020-02-28 | 武汉数智云绘技术有限公司 | 基于单木分割的地面和机载LiDAR点云配准方法 |
| CN113469950A (zh) * | 2021-06-08 | 2021-10-01 | 海南电网有限责任公司电力科学研究院 | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 |
| CN114119488A (zh) * | 2021-10-29 | 2022-03-01 | 成都建工第一建筑工程有限公司 | 一种面向工厂化的预制叠合板尺寸质量智能检测方法 |
| CN115035195A (zh) * | 2022-08-12 | 2022-09-09 | 歌尔股份有限公司 | 点云坐标提取方法、装置、设备及存储介质 |
| CN115661072A (zh) * | 2022-10-25 | 2023-01-31 | 山东省计算中心（国家超级计算济南中心） | 一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法 |
| CN115791541A (zh) * | 2021-09-10 | 2023-03-14 | 苏州米顿智能视觉有限公司 | 一种黏连粗集料离散化与识别装置 |
-
2023
- 2023-05-22 CN CN202310575519.1A patent/CN116977274A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016031321A (ja) * | 2014-07-30 | 2016-03-07 | アイシン精機株式会社 | 欠陥抽出装置及び欠陥抽出方法 |
| CN105115976A (zh) * | 2015-06-24 | 2015-12-02 | 上海图甲信息科技有限公司 | 一种铁轨磨耗缺陷检测***及方法 |
| CN110853081A (zh) * | 2019-11-18 | 2020-02-28 | 武汉数智云绘技术有限公司 | 基于单木分割的地面和机载LiDAR点云配准方法 |
| CN113469950A (zh) * | 2021-06-08 | 2021-10-01 | 海南电网有限责任公司电力科学研究院 | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 |
| CN115791541A (zh) * | 2021-09-10 | 2023-03-14 | 苏州米顿智能视觉有限公司 | 一种黏连粗集料离散化与识别装置 |
| CN114119488A (zh) * | 2021-10-29 | 2022-03-01 | 成都建工第一建筑工程有限公司 | 一种面向工厂化的预制叠合板尺寸质量智能检测方法 |
| CN115035195A (zh) * | 2022-08-12 | 2022-09-09 | 歌尔股份有限公司 | 点云坐标提取方法、装置、设备及存储介质 |
| CN115661072A (zh) * | 2022-10-25 | 2023-01-31 | 山东省计算中心（国家超级计算济南中心） | 一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| HUI ZHANG等: "Nondestructive Internal Defect Detection of In-Shell Walnuts by X-ray Technology Based on Improved Faster R-CNN", 《DOI:10.20944/PREPRINTS202304.1271.V1》, 30 April 2023 (2023-04-30), pages 1 - 10 * |
| XIONG PENG等: "MEASURING NUT VOLUMES USING THE AZURE KINECT", 《RESEARCHGATE》, 13 December 2022 (2022-12-13), pages 1 - 8 * |
| 康硕等: "基于红外和可见光图像融合的铺丝缺陷检测方法", 《航空学报》, vol. 43, no. 3, 25 March 2022 (2022-03-25), pages 425187 - 1 * |
| 张恒: "基于机器视觉的坚果尺寸与缺陷分类在线检测***设计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》, no. 03, 15 March 2022 (2022-03-15), pages 024 - 664 * |
| 张成龙等: "农产品内部异物检测方法研究进展", 《安徽农业科学》, no. 16, 8 June 2018 (2018-06-08), pages 30 - 34 * |
| 齐琦: "基于高斯过程回归的车载激光雷达地面点滤波研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 02, 15 February 2021 (2021-02-15), pages 13 - 17 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111299815B (zh) | 一种用于低灰度橡胶垫视觉检测与激光切割轨迹规划方法 | |
| CN111062915B (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
| CN115082419B (zh) | 一种吹塑箱包生产缺陷检测方法 | |
| CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| CN109784204B (zh) | 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法 | |
| US9002072B2 (en) | System for detection of non-uniformities in web-based materials | |
| Li et al. | A leaf segmentation and phenotypic feature extraction framework for multiview stereo plant point clouds | |
| CN108107444A (zh) | 基于激光数据的变电站异物识别方法 | |
| CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| CN115187803B (zh) | 一种用于名优茶嫩芽采摘过程的定位方法 | |
| Li et al. | An improved binocular localization method for apple based on fruit detection using deep learning | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN113093216A (zh) | 一种激光雷达和相机融合的不规则物体测量方法 | |
| Liang et al. | Automatic defect detection of texture surface with an efficient texture removal network | |
| CN111291686B (zh) | 农作物根果表型参数的提取与根果表型判别方法及*** | |
| CN113177897A (zh) | 一种无序3d点云的快速无损滤波方法 | |
| Ferrer-Ferrer et al. | Simultaneous fruit detection and size estimation using multitask deep neural networks | |
| Gu et al. | Surface defect detection of cabbage based on curvature features of 3D point cloud | |
| CN105825215B (zh) | 一种基于局部近邻嵌入核函数的仪表定位方法及使用载体 | |
| CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及*** | |
| Zhao et al. | Automatic sweet pepper detection based on point cloud images using subtractive clustering | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
| Tian et al. | Research on the application of machine vision in tea autonomous picking | |
| CN116977274A (zh) | 适用于移动生产线上的坚果智能检测方法及*** | |
| Mohana et al. | Stem-calyx recognition of an apple using shape descriptors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |