CN113011486A - 鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法 - Google Patents

鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法 Download PDF

Info

Publication number
CN113011486A
CN113011486A CN202110271689.1A CN202110271689A CN113011486A CN 113011486 A CN113011486 A CN 113011486A CN 202110271689 A CN202110271689 A CN 202110271689A CN 113011486 A CN113011486 A CN 113011486A
Authority
CN
China
Prior art keywords
chicken
classification
chicken claw
claw
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110271689.1A
Other languages
English (en)
Inventor
鄢然
谢长江
夏磊
廖记登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202110271689.1A priority Critical patent/CN113011486A/zh
Publication of CN113011486A publication Critical patent/CN113011486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种鸡爪分类及特征点定位模型的构建方法及***、鸡爪分拣方法，包括：采集不同类型鸡爪的原始图像，对采集的原始图像数据集进行位置和分类标注处理；将位置标注和分类标注处理后的鸡爪原始图像数据集对第一深度学习模型进行训练，得到训练好的鸡爪分类模型；将位置标注和分类处理后的原始图像数据集输入鸡爪分类模型，对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，将剪裁和特征点位置标注处理后的图像集对第二深度学习模型进行训练，得到训练好的鸡爪特征点定位模型。本发明能够对鸡爪进行自动分拣，提高了生产线自动化程度、降低了人工参与率，从而带来高经济效益和高生产效率，同时减少了生产成本。

Description

鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法
技术领域
本发明涉及鸡爪分类技术领域，尤其涉及一种鸡爪分类及特征点定位模型的构建方法及***、鸡爪分拣方法。
背景技术
鸡爪是一种深受国民喜爱的美食，常常作为一道名菜出现在餐桌上。在鸡爪生产端，常见的鸡爪加工工艺为鸡爪选料、分拣、清洗、上色、油炸、卤煮、冷却、脱卤、塞料、包装、包装杀菌、包装检查和清洗烘干，鸡爪分拣是第二道工序。鸡爪分拣过程中，需要人工的分拣出不同品类的鸡爪，而人工参与过多会降低生产自动化程度，带来高错误率和低效率，同时也会提高生产成本。
发明内容
本发明的目的是提供一种鸡爪分类及特征点定位模型的构建方法及***、鸡爪分拣方法，能对鸡爪进行自动分拣，提高生产线自动化程度、降低人工参与率，从而带来高经济效益和高生产效率，同时减少生产成本。
为实现上述目的，本发明提供一种鸡爪分类及特征点定位模型的构建方法，包括以下步骤：
(S1)采集不同类型鸡爪的原始图像，对采集的原始图像数据集进行位置和分类标注处理；将位置标注和分类标注处理后的鸡爪原始图像数据集对第一深度学习模型进行训练，得到训练好的用于识别鸡爪类别的鸡爪分类模型；
(S2)将位置标注和分类处理后的原始图像数据集输入鸡爪分类模型，对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，将剪裁和特征点位置标注处理后的图像集对第二深度学习模型进行训练，得到训练好的鸡爪特征点定位模型。
进一步，所述采集不同类型鸡爪的原始图像，对采集的原始图像数据集进行位置和分类标注处理，将位置标注和分类标注处理后的鸡爪原始图像数据集对第一深度学习模型进行训练，得到训练好的用于识别鸡爪类别的鸡爪分类模型；具体执行以下步骤：
采集不同类型鸡爪的原始图像，对其中一部分鸡爪原始图像数据集进行位置和分类标注处理，并将位置和分类标注处理后的鸡爪原始图像数据集划分为鸡爪分类训练集和鸡爪分类验证集，将另一部分鸡爪原始图像数据集作为鸡爪分类测试集；利用鸡爪分类训练集对第一深度学习模型进行训练，得到最优的鸡爪分类模型。
进一步，将位置标注和分类处理后的原始图像数据集输入鸡爪分类模型，对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，将剪裁和特征点位置标注处理后的图像集对第二深度学习模型进行训练，得到训练好的鸡爪特征点定位模型；具体执行以下步骤：
将鸡爪分类训练集和鸡爪分类验证集输入鸡爪分类模型，然后对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，对应生成鸡爪特征点训练集和鸡爪特征点验证集；将鸡爪分类测试集输入鸡爪分类模型，并对输出的图像集进行剪裁后生成鸡爪特征点测试集；利用鸡爪特征点训练集对第二深度学习模型进行训练，得到最优的鸡爪特征点定位模型。
进一步，所述分类标注处理，具体步骤为：根据鸡爪的表面肤色和脚心特征将鸡爪划分为excellent、secondary和unqualified三个类别，将表面肤色为淡黄色，脚心无黑点的鸡爪标注为excellent；将表面肤色为青黑色，脚心无黑点的鸡爪标注为secondary；将表面肤色为淡黄色、脚心有黑点的鸡爪标注为unqualified。
进一步，对采集的原始图像数据集进行位置和分类标注处理之前，还执行以下步骤：对鸡爪原始图像数据集进行扩展处理。
进一步，所述特征点为脚趾和脚掌连接的地方、脚掌和脚柄连接的地方、鸡爪的脚心和四个脚趾头中的一种。
进一步，所述鸡爪分类模型为faster_rcnn目标检测框架。
进一步，所述鸡爪特征点定位模型为基于VGG16模型的修改模型。
本发明还提供一种鸡爪分类及特征点定位模型的构建***，包括：
摄像模块，用于拍摄不同类型鸡爪的原始图像；
采集模块，用于采集不同类型鸡爪的原始图像；
数据处理模块，用于对采集到的原始图像数据集进行处理，完成鸡爪分类模型和鸡爪特征点定位模型的建模；
所述摄像模块和数据处理模块均与采集模块连接，所述鸡爪分类及特征点定位模型的构建***用于执行所述的鸡爪分类及特征点定位模型的构建方法的步骤。
本发明还提供一种鸡爪分拣方法，包括如下步骤：
(D1)控制摄像模块对传送带上的鸡爪拍照；
(D2)从摄像模块采集鸡爪图片，采用所述的鸡爪分类及特征点定位模型的构建方法构建的鸡爪分类模型和鸡爪特征点定位模型对鸡爪图片进行识别，得到鸡爪的类别和机械手抓取点坐标；
(D3)控制机械手根据鸡爪的类别和机械手抓取点坐标将鸡爪抓取到对应类别鸡爪处理流水线上。
进一步，所述控制机械手根据鸡爪的类别和机械手抓取点坐标将鸡爪抓取到对应类别鸡爪处理流水线上，具体执行以下步骤：
若鸡爪的识别结果为excellent，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到excellent类处理流水线上；
若鸡爪的识别结果为secondary，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到secondary类处理流水线上；
若鸡爪的识别结果为unqualified，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到unqualified类处理流水线上；或者
若鸡爪的识别结果为excellent类和secondary类，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到合格类处理流水线上；
若鸡爪的识别结果为Unqualified类，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到不合格类处理流水线上。
本发明与相关技术相比较具有以下优点：
本发明的鸡爪分类及特征点定位模型的构建方法及***、鸡爪分拣方法，能对鸡爪进行自动分拣，提高生产线自动化程度、降低人工参与率，从而带来高经济效益和高生产效率，同时减少生产成本。
附图说明
图1为本发明鸡爪分类及特征点定位模型的构建方法的流程图；
图2为图1中鸡爪分类模型和鸡爪特征点定位模型识别过程的示意图；
图3为本发明基于鸡爪分拣方法对应生产线的结构示意图。
图中：
1-摄像模块；2-机械手。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
参见图1至图2所示，一种鸡爪分类及特征点定位模型的构建方法，包括以下步骤：
(S1)采集不同类型鸡爪的原始图像，对采集的原始图像数据集进行位置和分类标注处理；将位置标注和分类标注处理后的鸡爪原始图像数据集对第一深度学习模型进行训练，得到训练好的用于识别鸡爪类别的鸡爪分类模型；鸡爪分类模型用于定位目标所在位置，并对目标种类分类且给出置信度。
(S2)将位置标注和分类处理后的原始图像数据集输入鸡爪分类模型，对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，将剪裁和特征点位置标注处理后的图像集对第二深度学习模型进行训练，得到训练好的用于识别鸡爪抓取点处坐标的鸡爪特征点定位模型。
在本实施例中，所述采集不同类型鸡爪的原始图像，对采集的原始图像数据集进行位置和分类标注处理，将位置标注和分类标注处理后的鸡爪原始图像数据集对第一深度学习模型进行训练，得到训练好的用于识别鸡爪类别的鸡爪分类模型；具体执行以下步骤：
采集不同类型鸡爪的原始图像，对其中一部分鸡爪原始图像数据集进行位置和分类标注处理，并将位置和分类标注处理后的鸡爪原始图像数据集划分为鸡爪分类训练集和鸡爪分类验证集，将另一部分鸡爪原始图像数据集作为鸡爪分类测试集；利用鸡爪分类训练集对第一深度学习模型进行训练，得到最优的鸡爪分类模型。其中，鸡爪分类训练集和鸡爪分类验证集都是经过人工标注，有标签，但鸡爪分类测试集没有。训练集用于网络参数的训练，测试集用于目标检测性能的评估，验证集用于训练过程中网络模型的准确度验证，通过训练集训练，验证集验证和测试集评估，最终得到最优的模型。将上述数据输入到第一深度学习模型，图像数据输入网络后，经过网络的前馈，结合损失函数，通过Adam梯度下降算法，使得网络不断学习，参数不断更新，位置的回归和类别的分类精度不断上升，最终获得理想的模型网络权重和偏置。
在本实施例中，所述鸡爪分类测试集、鸡爪分类训练集和鸡爪分类验证集图像分别占鸡爪原始图像数据集图像总数的比例为：16:4:5。例如采集的鸡爪原始图像4200张。鸡爪分类测试集、鸡爪分类训练集和鸡爪分类验证集图像分别为2688张、672张和840张。
在本实施例中，对采集的原始图像数据集进行位置和分类标注处理，具体执行以下步骤：根据tfrecord数据集格式，对鸡爪原始图像数据集进行标注，标注出鸡爪原始图像中标注框的4元组参数(Xmin,Ymin,Xmax,Ymax)，标注出鸡爪原始图像的种类(excellent，secondary，unqualified)，保存在xml文件中，其中，Xmin,Ymin,Xmax和Ymax分别表示标注框的左上和右下角坐标。
在本实施例中，将位置标注和分类处理后的原始图像数据集输入鸡爪分类模型，对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，将剪裁和特征点位置标注处理后的图像集对第二深度学习模型进行训练，得到训练好的用于识别鸡爪抓取点处坐标的鸡爪特征点定位模型；具体执行以下步骤：
将鸡爪分类训练集和鸡爪分类验证集输入鸡爪分类模型，然后对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，对应生成鸡爪特征点训练集和鸡爪特征点验证集；将鸡爪分类测试集输入鸡爪分类模型，并对输出的图像集进行剪裁后生成鸡爪特征点测试集；利用鸡爪特征点训练集对第二深度学习模型进行训练，得到最优的鸡爪特征点定位模型。将上述数据输入到特征点定位网络模型，图像数据输入网络后，经过网络的前馈，结合损失函数，通过Adam梯度下降算法，使得网络不断学习，参数不断更新，位置的回归和类别的分类精度不断上升，最终获得理想的模型网络权重和偏置。
在本实施例中，所述特征点位置标注处理，具体步骤为：先对鸡爪分类模型输出的图像进行网格化处理，然后对网格化处理后的图像中的特征点进行坐标标注。将鸡爪分类训练集、鸡爪分类验证集和鸡爪分类测试集输入鸡爪分类模型，根据鸡爪分类模型的预测结果对鸡爪分类训练集的图片进行裁剪，根据鸡爪分类模型的预测结果对鸡爪分类训练集和鸡爪分类验证集进行剪裁和网格化处理，之后进行标注，得到(X,Y)坐标形式的标注结果，保存在xml文件中。剪裁步骤为：根据鸡爪分类模型输出的(Xmin,Ymin,Xmax,Ymax)四元坐标，将该矩形框范围的图像从原始图像中剪裁出来。
在本实施例中，网格化处理具体执行以下步骤：以图片的中点为中心，构建5×5网格。便于后续的标注工作。图片经过特征点位置标注后，得到(X,Y)坐标形式的标注结果，保存在xml文件中。
在本实施例中，所述分类标注处理，具体步骤为：根据鸡爪的表面肤色和脚心特征将鸡爪划分为excellent、secondary和unqualified三个类别，将表面肤色为淡黄色，脚心无黑点的鸡爪标注为excellent；将表面肤色为青黑色，脚心无黑点的鸡爪标注为secondary；将表面肤色为淡黄色、脚心有黑点的鸡爪标注为unqualified。
在本实施例中，对采集的原始图像数据集进行位置和分类标注处理之前，还执行以下步骤：对鸡爪原始图像数据集进行扩展处理。扩展处理方法具体为：使用数据增强函数，对原始图像进行调色、翻转、平移、对称或剪切操作获得增加的数据。对鸡爪的原始图像进行扩展处理，能够进一步提升模型的鲁棒性。
在本实施例中，所述特征点为脚趾和脚掌连接的地方、脚掌和脚柄连接的地方、鸡爪的脚心和四个脚趾头中的一种。特征点是根据需求变化而变化的，并不以此为限。
在本实施例中，所述鸡爪分类模型为faster_rcnn目标检测框架。faster_rcnn目标检测框架用于提取训练图像中鸡爪的深层网络特征和浅层网络特征，预测鸡爪的识别结果。
在本实施例中，所述鸡爪特征点定位模型为基于VGG16模型的修改模型，保留卷积层和池化层，全连接层修改为三层全连接层，一层随机丢弃层。所述深度学习模型为基于VGG16修改得到的卷积神经网络模型，用于提取鸡爪几何特征，识别鸡爪特征点并输出坐标。
参见图2所示，faster-rcnn目标检测框架基于卷积神经网络，使用一组基础的卷积池化层提取图片的feature maps后，将feature maps共享给RPN(Region ProposalNetwork)层和Classifier层。RPN根据feature maps生成区域推荐，Classifier综合feature maps和来自RPN的区域推荐判定目标类别。VGG16是一种经典卷积神经网络，由输入层、卷积层、池化层、全连接层和输出层五个部分组成，其中，输入层用于直接输入原始数据；卷积层主要用来提取输入数据特征；池化层用于对图像数据降维，减少数据量和计算量；全连接层相当于一个分类器，用来实现信号的纵向传导，每一层的神经元节点分别连接线上的权值，然后经过加权组合来获取下面一层的神经元节点的输入；输出层用于输出结果。
在对深度学习模型进行训练时，由于随机参数的初始化将消耗大量的算力和时间用于降低模型损失值，本实施例采用了迁移学习方法。使用经ImageNet数据集训练好的预训练模型，共享卷积层结构权重和偏置参数，然后修改其顶层网络结构，使其适应新的任务环境，在新任务训练中可大大加速收敛速度。
本实施公开了一种鸡爪分类及特征点定位模型的构建***，包括：
摄像模块1，用于拍摄不同类型鸡爪的原始图像；所述摄像模块为CMOS相机或CCD相机；所述原始图像为相机拍摄格式为bmp、jpg、png等其它格式的图像。
采集模块，用于采集不同类型鸡爪的原始图像；
数据处理模块，用于对采集到的原始图像数据集进行处理，完成鸡爪分类模型和鸡爪特征点定位模型的建模；
所述摄像模块1和数据处理模块均与采集模块连接，所述鸡爪分类及特征点定位模型的构建***用于执行上述的鸡爪分类及特征点定位模型的构建方法。
参见图2所示，本实施例公开了一种鸡爪分拣方法，,包括如下步骤：
(D1)控制摄像模块1对传送带上的鸡爪拍照。
(D2)从摄像模块1采集鸡爪图像，采用上述的鸡爪分类及特征点定位模型的构建方法构建的鸡爪分类模型和鸡爪特征点定位模型对鸡爪图像进行识别，得到鸡爪的类别和机械手抓取点坐标。每次识别都要依次通过前面两个模型，得到鸡爪类别信息和抓取点坐标信息。
(D3)控制机械手2根据鸡爪的类别和机械手抓取点坐标将鸡爪抓取到对应类别鸡爪处理流水线上。
在本实施例中，所述控制机械手2根据鸡爪的类别和机械手抓取点坐标将鸡爪抓取到对应类别鸡爪处理流水线上，具体执行以下步骤：
若鸡爪的识别结果为excellent，则控制机械手2根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到excellent类处理流水线上；
若鸡爪的识别结果为secondary，则控制机械手2根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到secondary类处理流水线上；
若鸡爪的识别结果为unqualified，则控制机械手2根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到unqualified类处理流水线上；或者
若鸡爪的识别结果为excellent类和secondary类，则控制机械手2根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到合格类处理流水线上；
若鸡爪的识别结果为Unqualified类，则控制机械手2根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到不合格类处理流水线上。
本发明的鸡爪分类及特征点定位模型的构建方法及***、鸡爪分拣方法，能对鸡爪进行自动分拣，提高生产线自动化程度、降低人工参与率，从而带来高经济效益和高生产效率，同时减少生产成本。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种鸡爪分类及特征点定位模型的构建方法，其特征在于，包括以下步骤：
(S1)采集不同类型鸡爪的原始图像，对采集的原始图像数据集进行位置和分类标注处理；将位置标注和分类标注处理后的鸡爪原始图像数据集对第一深度学习模型进行训练，得到训练好的用于识别鸡爪类别的鸡爪分类模型；
(S2)将位置标注和分类处理后的原始图像数据集输入鸡爪分类模型，对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，将剪裁和特征点位置标注处理后的图像集对第二深度学习模型进行训练，得到训练好的鸡爪特征点定位模型。
2.根据权利要求1所述的鸡爪分类及特征点定位模型的构建方法，其特征在于，所述采集不同类型鸡爪的原始图像，对采集的原始图像数据集进行位置和分类标注处理，将位置标注和分类标注处理后的鸡爪原始图像数据集对第一深度学习模型进行训练，得到训练好的用于识别鸡爪类别的鸡爪分类模型；具体执行以下步骤：
采集不同类型鸡爪的原始图像，对其中一部分鸡爪原始图像数据集进行位置和分类标注处理，并将位置和分类标注处理后的鸡爪原始图像数据集划分为鸡爪分类训练集和鸡爪分类验证集，将另一部分鸡爪原始图像数据集作为鸡爪分类测试集；利用鸡爪分类训练集对第一深度学习模型进行训练，得到最优的鸡爪分类模型。
3.根据权利要求2所述的鸡爪分类及特征点定位模型的构建方法，其特征在于，将位置标注和分类处理后的原始图像数据集输入鸡爪分类模型，对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，将剪裁和特征点位置标注处理后的图像集对第二深度学习模型进行训练，得到训练好的鸡爪特征点定位模型；具体执行以下步骤：
将鸡爪分类训练集和鸡爪分类验证集输入鸡爪分类模型，然后对鸡爪分类模型输出的图像集进行剪裁和特征点位置标注处理，对应生成鸡爪特征点训练集和鸡爪特征点验证集；将鸡爪分类测试集输入鸡爪分类模型，并对输出的图像集进行剪裁后生成鸡爪特征点测试集；利用鸡爪特征点训练集对第二深度学习模型进行训练，得到最优的鸡爪特征点定位模型。
4.根据权利要求1至3任一所述的鸡爪分类及特征点定位模型的构建方法，其特征在于，所述分类标注处理，具体步骤为：根据鸡爪的表面肤色和脚心特征将鸡爪划分为excellent、secondary和unqualified三个类别，将表面肤色为淡黄色，脚心无黑点的鸡爪标注为excellent；将表面肤色为青黑色，脚心无黑点的鸡爪标注为secondary；将表面肤色为淡黄色、脚心有黑点的鸡爪标注为unqualified。
5.根据权利要求4所述的鸡爪分类及特征点定位模型的构建方法，其特征在于，对采集的原始图像数据集进行位置和分类标注处理之前，还执行以下步骤：对鸡爪原始图像数据集进行扩展处理。
6.根据权利要求1或2或3或5所述的鸡爪分类及特征点定位模型的构建方法，其特征在于，所述特征点为脚趾和脚掌连接的地方、脚掌和脚柄连接的地方、鸡爪的脚心和四个脚趾头中的一种。
7.根据权利要求6所述的鸡爪分类及特征点定位模型的构建方法，其特征在于，所述鸡爪分类模型为faster_rcnn目标检测框架。
8.根据权利要求7所述的鸡爪分类及特征点定位模型的构建方法，其特征在于，所述鸡爪特征点定位模型为基于VGG16模型的修改模型。
9.一种鸡爪分类及特征点定位模型的构建***，其特征在于，包括：
摄像模块(1)，用于拍摄不同类型鸡爪的原始图像；
采集模块，用于采集不同类型鸡爪的原始图像；
数据处理模块，用于对采集到的原始图像数据集进行处理，完成鸡爪分类模型和鸡爪特征点定位模型的建模；
所述摄像模块(1)和数据处理模块均与采集模块连接，所述鸡爪分类及特征点定位模型的构建***用于执行如权利要求1至8任一所述的鸡爪分类及特征点定位模型的构建方法的步骤。
10.一种鸡爪分拣方法，其特征在于，包括如下步骤：
(D1)控制摄像模块(1)对传送带上的鸡爪拍照；
(D2)从摄像模块(1)采集鸡爪图片，采用如权利要求1至8任一所述的鸡爪分类及特征点定位模型的构建方法构建的鸡爪分类模型和鸡爪特征点定位模型对鸡爪图片进行识别，得到鸡爪的类别和机械手抓取点坐标；
(D3)控制机械手(2)根据鸡爪的类别和机械手抓取点坐标将鸡爪抓取到对应类别鸡爪处理流水线上。
可选的，所述控制机械手根据鸡爪的类别和机械手抓取点坐标将鸡爪抓取到对应类别鸡爪处理流水线上，具体执行以下步骤：
若鸡爪的识别结果为excellent，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到excellent类处理流水线上；
若鸡爪的识别结果为secondary，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到secondary类处理流水线上；
若鸡爪的识别结果为unqualified，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到unqualified类处理流水线上；或者
若鸡爪的识别结果为excellent类和secondary类，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到合格类处理流水线上；
若鸡爪的识别结果为Unqualified类，则控制机械手根据该鸡爪对应的机械手抓取点坐标将该鸡爪抓取到不合格类处理流水线上。
CN202110271689.1A 2021-03-12 2021-03-12 鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法 Pending CN113011486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110271689.1A CN113011486A (zh) 2021-03-12 2021-03-12 鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110271689.1A CN113011486A (zh) 2021-03-12 2021-03-12 鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法

Publications (1)

Publication Number Publication Date
CN113011486A true CN113011486A (zh) 2021-06-22

Family

ID=76406419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110271689.1A Pending CN113011486A (zh) 2021-03-12 2021-03-12 鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法

Country Status (1)

Country Link
CN (1) CN113011486A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117179030A (zh) * 2023-09-22 2023-12-08 河北玖兴食品有限公司 一种鸡爪自动化生产***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437099A (zh) * 2017-08-03 2017-12-05 哈尔滨工业大学 一种基于机器学习的特定服饰图像识别与检测方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108247635A (zh) * 2018-01-15 2018-07-06 北京化工大学 一种深度视觉的机器人抓取物体的方法
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取***及方法
CN108668637A (zh) * 2018-04-25 2018-10-19 江苏大学 一种机器视觉自然放置葡萄串抓取点定位方法
CN109986560A (zh) * 2019-03-19 2019-07-09 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN110598752A (zh) * 2019-08-16 2019-12-20 深圳宇骏视觉智能科技有限公司 一种自动生成训练数据集的图像分类模型训练方法及***
CN111507379A (zh) * 2020-03-24 2020-08-07 武汉理工大学 基于深度学习的矿石自动识别与粗分拣***
CN111666986A (zh) * 2020-05-22 2020-09-15 南京邮电大学 基于机器学习的小龙虾分级方法
CN111695562A (zh) * 2020-05-26 2020-09-22 浙江工业大学 一种基于卷积神经网络的机器人自主抓取方法
CN111768401A (zh) * 2020-07-08 2020-10-13 中国农业大学 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
CN111968114A (zh) * 2020-09-09 2020-11-20 山东大学第二医院 基于级联深度学习方法的骨科耗材检测方法及***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437099A (zh) * 2017-08-03 2017-12-05 哈尔滨工业大学 一种基于机器学习的特定服饰图像识别与检测方法
CN108247635A (zh) * 2018-01-15 2018-07-06 北京化工大学 一种深度视觉的机器人抓取物体的方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取***及方法
CN108668637A (zh) * 2018-04-25 2018-10-19 江苏大学 一种机器视觉自然放置葡萄串抓取点定位方法
CN109986560A (zh) * 2019-03-19 2019-07-09 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN110598752A (zh) * 2019-08-16 2019-12-20 深圳宇骏视觉智能科技有限公司 一种自动生成训练数据集的图像分类模型训练方法及***
CN111507379A (zh) * 2020-03-24 2020-08-07 武汉理工大学 基于深度学习的矿石自动识别与粗分拣***
CN111666986A (zh) * 2020-05-22 2020-09-15 南京邮电大学 基于机器学习的小龙虾分级方法
CN111695562A (zh) * 2020-05-26 2020-09-22 浙江工业大学 一种基于卷积神经网络的机器人自主抓取方法
CN111768401A (zh) * 2020-07-08 2020-10-13 中国农业大学 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
CN111968114A (zh) * 2020-09-09 2020-11-20 山东大学第二医院 基于级联深度学习方法的骨科耗材检测方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杨真真: "基于卷积神经网络的图像分类算法综述", 《信号处理》 *
田思佳: "一种基于深度学习的机械臂分拣方法", 《智能科学与技术学报》 *
许高建: "基于Faster R-CNN深度网络的茶叶嫩芽图像识别方法", 《光电子-激光》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117179030A (zh) * 2023-09-22 2023-12-08 河北玖兴食品有限公司 一种鸡爪自动化生产***
CN117179030B (zh) * 2023-09-22 2024-02-06 河北玖兴食品有限公司 一种鸡爪自动化生产***

Similar Documents

Publication Publication Date Title
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
WO2020177432A1 (zh) 基于目标检测网络的多标签物体检测方法、***、装置
CN108021947B (zh) 一种基于视觉的分层极限学习机目标识别方法
CN105447473B (zh) 一种基于PCANet-CNN的任意姿态人脸表情识别方法
CN107451602A (zh) 一种基于深度学习的果蔬检测方法
CN107688856B (zh) 基于深度强化学习的室内机器人场景主动识别方法
CN107818302A (zh) 基于卷积神经网络的非刚性多尺度物体检测方法
CN110287873A (zh) 基于深度神经网络的非合作目标位姿测量方法、***及终端设备
CN108734138A (zh) 一种基于集成学习的黑色素瘤皮肤病图像分类方法
CN110480637A (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN111906782B (zh) 一种基于三维视觉的智能机器人抓取方法
CN114549507B (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
Öztürk et al. Transfer learning and fine‐tuned transfer learning methods' effectiveness analyse in the CNN‐based deep learning models
Wang et al. Hand-drawn electronic component recognition using deep learning algorithm
CN112989947A (zh) 一种人体关键点的三维坐标的估计方法及装置
CN111582395A (zh) 一种基于卷积神经网络的产品质量分类***
CN112016462A (zh) 一种基于深度学习模型的回收瓶分类方法
CN114663426A (zh) 一种基于关键骨区定位的骨龄评估方法
CN107742132A (zh) 基于卷积神经网络的马铃薯表面缺陷检测方法
CN113011486A (zh) 鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法
CN114494773A (zh) 一种基于深度学习的零件分拣识别***和方法
CN114131603A (zh) 基于感知增强和场景迁移的深度强化学习机器人抓取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210622

RJ01 Rejection of invention patent application after publication