CN112241747A - 物体分拣方法、装置、分拣设备及存储介质 - Google Patents

物体分拣方法、装置、分拣设备及存储介质 Download PDF

Info

Publication number
CN112241747A
CN112241747A CN201910638417.3A CN201910638417A CN112241747A CN 112241747 A CN112241747 A CN 112241747A CN 201910638417 A CN201910638417 A CN 201910638417A CN 112241747 A CN112241747 A CN 112241747A
Authority
CN
China
Prior art keywords
image
mask
sorted
sample image
sorting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910638417.3A
Other languages
English (en)
Inventor
林雨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910638417.3A priority Critical patent/CN112241747A/zh
Publication of CN112241747A publication Critical patent/CN112241747A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种物体分拣方法、装置、分拣设备及存储介质，本申请实施例可以获取待分拣物体的物体图像；对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别；根据待分拣物体的物体掩膜确定待分拣物体的重心位置；根据重心位置和物体类别对待分拣物体进行分拣处理。该方案通过检测物体图像中待分拣物体的重心位置和物体类别，并基于重心位置和物体类别自动对待分拣物体进行分拣处理，相对于人工分拣，提高了对物体进行分拣的精度和效率。

Description

物体分拣方法、装置、分拣设备及存储介质
技术领域
本申请涉及物体管理技术领域，具体涉及一种物体分拣方法、装置、分拣设备及存储介质。
背景技术
目前，各个城市都开始号召垃圾分类，然而现有垃圾分类主要依靠人力分拣。现有依靠专门的人员对垃圾进行统一的分拣，一方面，需要消耗大量的人力，以及耗费大量的时间，使得分拣效率低下；另一方面，通过人力分拣也容易因为体力或注意力的下降等因素影响而出现分拣错误的情况，使得分拣准确性低下。
发明内容
本申请实施例提供一种物体分拣方法、装置、分拣设备及存储介质，可以提高对物体进行分拣的精度和效率。
第一方面，本申请实施例提供了一种物体分拣方法，包括：
获取待分拣物体的物体图像；
对所述物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别；
根据所述待分拣物体的物体掩膜确定所述待分拣物体的重心位置；
根据所述重心位置和所述物体类别对所述待分拣物体进行分拣处理。
在一些实施方式中，所述对所述物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别包括：
对所述物体图像进行尺寸归一化，得到尺寸归一化后的物体图像；
对所述尺寸归一化后的物体图像进行像素值归一化，得到目标物体图像；
通过训练后的检测模型对所述目标物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别。
在一些实施方式中，所述对所述物体图像进行尺寸归一化，得到尺寸归一化后的物体图像包括：
若所述物体图像的长边大于预设长度值，则对所述物体图像进行缩小，以使得所述长边为预设长度值，并用预设数值填充所述物体图像的短边，得到尺寸归一化后的物体图像；或者，
若所述物体图像的长边小于预设长度值，则对所述物体图像进行放大，以使得所述长边为预设长度值，并用预设数值填充所述物体图像的短边，得到尺寸归一化后的物体图像。
在一些实施方式中，所述通过训练后的检测模型对所述目标物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别包括：
通过训练后的检测模型基于所述目标物体图像计算所述待分拣物体的候选物体掩膜、候选物体边界框和候选物体类别；
通过非极大值抑制算法从所述候选物体掩膜、候选物体边界框和候选物体类别中，筛选出预测物体掩膜、预测物体边界框和预测物体类别；
根据所述预测物体掩膜、预测物体边界框和预测物体类别，确定所述待分拣物体的物体掩膜和物体类别。
在一些实施方式中，所述根据所述预测物体掩膜、预测物体边界框和预测物体类别，确定所述待分拣物体的物体掩膜和物体类别包括：
将所述预测边界框缩放为所述物体图像的大小比例，得到所所述预测边界框在所述物体图像上的边界框；
根据所述预测物体掩膜中的掩膜原型与掩膜系数获取掩膜图像；
将所述掩膜图像通过插值缩放到所述物体图像的大小比例，得到置于所述边界框内的物体掩膜；
根据预测物体类别确定所述待分拣物体的物体类别。
在一些实施方式中，所述通过训练后的检测模型对所述目标物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别之前，所述方法还包括：
获取包含物体的样本图像；
对所述样本图像进行色度、亮度、以及饱和度的调节，得到调节后的样本图像；
对所述调节后的样本图像进行随机缩放，得到缩放后的样本图像；
对所述缩放后的样本图像进行裁剪，得到裁剪后的样本图像；
生成随机数，根据所述随机数对所述裁剪后的样本图像进行翻转，得到翻转后的样本图像；
根据所述翻转后的样本图像对检测模型进行训练，得到训练后的检测模型。
在一些实施方式中，所述根据所述翻转后的样本图像对检测模型进行训练，得到训练后的检测模型包括：
对所述翻转后的样本图像进行尺寸归一化，得到尺寸归一化后的样本图像；
将所述尺寸归一化后的样本图像进行像素值归一化，得到目标样本图像；
从所述样本图像中截取物体的样本掩膜图像，并对所述样本掩膜图像进行预处理，得到预处理后的掩膜图像；
获取所述样本图像中物体的类别和边界框；
根据所述预处理后的掩膜图像、所述物体的类别和边界框对检测模型进行训练，得到训练后的检测模型。
在一些实施方式中，所述对所述缩放后的样本图像进行裁剪，得到裁剪后的样本图像包括：
对所述缩放后的样本图像进行随机裁剪，得到裁剪后的候选样本图像；
获取所述候选样本图像中物体的边界框的中心位置；
从候选样本图像中筛选出面积大于预设值，且包含物体的边界框的中心位置的图像，得到裁剪后的样本图像。
在一些实施方式中，所述根据所述待分拣物体的物体掩膜确定所述待分拣物体的重心位置包括：
获取所述物体图像中物体与三维空间中物体之间的映射关系；
根据所述映射关系确定所述待分拣物体在三维空间中的重心位置。
在一些实施方式中，所述根据所述重心位置和所述物体类别对所述待分拣物体进行分拣处理包括：
基于所述待分拣物体在三维空间中的重心位置，抓取所述待分拣物体，并将所述待分拣物体分拣至与物体类别对应的区域。
第二方面，本申请实施例还提供了一种物体分拣装置，包括：
获取模块，用于获取待分拣物体的物体图像；
检测模块，用于对所述物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别；
确定模块，用于根据所述待分拣物体的物体掩膜确定所述待分拣物体的重心位置；
分拣模块，用于根据所述重心位置和所述物体类别对所述待分拣物体进行分拣处理。
在一些实施方式中，所述检测模块包括：
第一归一化单元，用于对所述物体图像进行尺寸归一化，得到尺寸归一化后的物体图像；
第二归一化单元，用于对所述尺寸归一化后的物体图像进行像素值归一化，得到目标物体图像；
检测单元，用于通过训练后的检测模型对所述目标物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别。
在一些实施方式中，所述第一归一化单元具体用于：若所述物体图像的长边大于预设长度值，则对所述物体图像进行缩小，以使得所述长边为预设长度值，并用预设数值填充所述物体图像的短边，得到尺寸归一化后的物体图像；或者，若所述物体图像的长边小于预设长度值，则对所述物体图像进行放大，以使得所述长边为预设长度值，并用预设数值填充所述物体图像的短边，得到尺寸归一化后的物体图像。
在一些实施方式中，所述检测单元包括：
计算子单元，用于通过训练后的检测模型基于所述目标物体图像计算所述待分拣物体的候选物体掩膜、候选物体边界框和候选物体类别；
筛选子单元，用于通过非极大值抑制算法从所述候选物体掩膜、候选物体边界框和候选物体类别中，筛选出预测物体掩膜、预测物体边界框和预测物体类别；
确定子单元，用于根据所述预测物体掩膜、预测物体边界框和预测物体类别，确定所述待分拣物体的物体掩膜和物体类别。
在一些实施方式中，所述确定子单元具体用于：
将所述预测边界框缩放为所述物体图像的大小比例，得到所所述预测边界框在所述物体图像上的边界框；
根据所述预测物体掩膜中的掩膜原型与掩膜系数获取掩膜图像；
将所述掩膜图像通过插值缩放到所述物体图像的大小比例，得到置于所述边界框内的物体掩膜；
根据预测物体类别确定所述待分拣物体的物体类别。
在一些实施方式中，所述物体分拣装置还包括：
样本图像获取模块，用于获取包含物体的样本图像；
调节模块，用于对所述样本图像进行色度、亮度、以及饱和度的调节，得到调节后的样本图像；
缩放模块，用于对所述调节后的样本图像进行随机缩放，得到缩放后的样本图像；
裁剪模块，用于对所述缩放后的样本图像进行裁剪，得到裁剪后的样本图像；
翻转模块，用于生成随机数，根据所述随机数对所述裁剪后的样本图像进行翻转，得到翻转后的样本图像；
训练模块，用于根据所述翻转后的样本图像对检测模型进行训练，得到训练后的检测模型。
在一些实施方式中，所述训练模块包括：
第三归一化单元，用于对所述翻转后的样本图像进行尺寸归一化，得到尺寸归一化后的样本图像；
第四归一化单元，用于将所述尺寸归一化后的样本图像进行像素值归一化，得到目标样本图像；
处理单元，用于从所述样本图像中截取物体的样本掩膜图像，并对所述样本掩膜图像进行预处理，得到预处理后的掩膜图像；
获取单元，用于获取所述样本图像中物体的类别和边界框；
训练单元，用于根据所述预处理后的掩膜图像、所述物体的类别和边界框对检测模型进行训练，得到训练后的检测模型。
在一些实施方式中，所述裁剪模块具体用于：
对所述缩放后的样本图像进行随机裁剪，得到裁剪后的候选样本图像；
获取所述候选样本图像中物体的边界框的中心位置；
从候选样本图像中筛选出面积大于预设值，且包含物体的边界框的中心位置的图像，得到裁剪后的样本图像。
在一些实施方式中，所述确定模块具体用于：
获取所述物体图像中物体与三维空间中物体之间的映射关系；
根据所述映射关系确定所述待分拣物体在三维空间中的重心位置。
在一些实施方式中，所述分拣模块具体用于：
基于所述待分拣物体在三维空间中的重心位置，抓取所述待分拣物体，并将所述待分拣物体分拣至与物体类别对应的区域。
第三方面，本申请实施例还提供了一种分拣设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种物体分拣方法。
第四方面，本申请实施例还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序适于处理器进行加载，以执行本申请实施例提供的任一种物体分拣方法。
本申请实施例可以获取待分拣物体的物体图像，以及对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别，然后根据待分拣物体的物体掩膜确定待分拣物体的重心位置，此时可以根据重心位置和物体类别对待分拣物体进行分拣处理。该方案通过检测物体图像中待分拣物体的重心位置和物体类别，并基于重心位置和物体类别自动对待分拣物体进行分拣处理，相对于人工分拣，提高了对物体进行分拣的精度和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的物体分拣方法的流程示意图；
图2是本申请实施例提供的物体分拣方法的另一流程示意图；
图3是本申请实施例提供的检测模型的结构示意图；
图4是本申请实施例提供的物体分拣装置的结构示意图；
图5是本申请实施例提供的分拣设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请一实施例提供的物体分拣方法的流程示意图。该物体分拣方法的执行主体可以是本申请实施例提供的物体分拣装置，或者集成了该物体分拣装置的分拣设备，其中，该物体分拣装置可以采用硬件或者软件的方式实现，该分拣设备可以根据实际需要进行灵活设置，例如该分拣设备可以包括摄像头和机械手臂等。该物体分拣方法可以包括：
S101、获取待分拣物体的物体图像。
其中，待分拣物体可以根据实际需要进行灵活设置，具体内容在此处不作限定。例如，待分拣物体可以是垃圾，可以将该垃圾分拣为可回收垃圾和不可回收垃圾等，该可回收垃圾可包括饮料瓶(矿泉水瓶、果汁饮料瓶、以及奶茶饮料瓶等)、废纸(报纸、期刊、图书、各种包装纸、办公用纸、广告纸、以及纸盒等)、纺织物(衣服、床单、窗帘、桌布、以及毛巾等)或金属制品等，该不可回收垃圾可以包括厨余垃圾(剩菜、剩饭、以及果皮等)，以及等有害垃圾(电池、油漆、废弃灯管、废水银温度计、以及过期药品等)。
又例如，待分拣物体可以是水果，可以将该混合的多种水果分拣为同一品种的水果放置在同一区域；或者，可以将同一品种水果按照大小和颜色等分拣为不同等级，同一等级的水果放置在对应等级的同一区域。
又例如，待分拣物体可以是药材，可以将不同品种的混合药材分拣为同一品种的药材放置在同一区域；或者，可以将同一品种药材按照大小、形状、重量和颜色等分拣为不同等级，同一等级的药材放置在对应等级的同一区域；或者，可以将药材中的杂草、泥土、腐叶、损坏或霉烂的药材等分拣出来。
在一些实施方式中，物体分拣装置可以通过预置的摄像头或相机等采集待分拣区域内待分拣物体的物体图像，以便对该物体图像进行视觉识别，并基于视觉识别结果对物体进行分拣处理。
S102、对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别。
在一些实施方式中，对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别可以包括：对物体图像进行尺寸归一化，得到尺寸归一化后的物体图像；对尺寸归一化后的物体图像进行像素值归一化，得到目标物体图像；通过训练后的检测模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别。
在采集得到物体图像后，可以对物体图像进行检测，为了提高检测的精准性和可靠性，以及检测的效率，物体分拣装置可以预先对物体图像进行尺寸归一化和像素值归一化等预处理。
具体地，首先可以对物体图像进行尺寸归一化，得到尺寸归一化后的物体图像，在一些实施方式中，对物体图像进行尺寸归一化，得到尺寸归一化后的物体图像可以包括：若物体图像的长边大于预设长度值，则对物体图像进行缩小，以使得长边为预设长度值，并用预设数值填充物体图像的短边，以使得短边为预设长度值，得到尺寸归一化后的物体图像；或者，若物体图像的长边小于预设长度值，则对物体图像进行放大，以使得长边为预设长度值，并用预设数值填充物体图像的短边，以使得短边为预设长度值，得到尺寸归一化后的物体图像。其中，该预设长度值和预设数值可以根据实际需要进行灵活设置，例如，该预设长度值可以是550或600(单位可以为像素点)等，该预设数值可以是0或1等。
例如，若物体图像的长边(即最长的边)大于550，则对物体图像进行缩小，使得长边等于550，以及对物体图像的短边用数值0填充，使得短边的长度为550，从而可以得到尺寸归一化后的物体图像。若物体图像的长边小于550，则对物体图像进行放大，使得长边等于550，以及对物体图像的短边用数值0填充，使得短边的长度为550，从而可以得到尺寸归一化后的物体图像，该尺寸归一化后的物体图像的长宽都为550像素的大小，即得到尺寸归一化后的物体图像为550*550。
在得到尺寸归一化后的物体图像后，可以对尺寸归一化后的物体图像进行像素值归一化，得到目标物体图像。例如，可以将尺寸归一化后的物体图像的像素值归一化到-1至1之间，得到目标物体图像，例如可以计算尺寸归一化后的物体图像的像素均值，以及像素方差，然后利用尺寸归一化后的物体图像的像素值减去均值并除以方差，或者利用尺寸归一化后的物体图像的像素值/255*2-1.0，即将像素值归一化到-1至1之间。
此时，为了提高检测的准确性，可以将目标物体图像输入训练后的检测模型，通过训练后的检测模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别。
其中，该检测模型可以是实例分割模型(YOLACT，You Only Look AtCoefficienTs)，以下将以YOLACT模型为例进行说明，当然，该检测模型还可以是其他类型的检测模型，具体内容在此处不作限定。
首先，需要对YOLACT模型进行训练，在一些实施方式中，通过训练后的检测模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别之前，物体分拣方法还可以包括：获取包含物体的样本图像；对样本图像进行色度、亮度、以及饱和度的调节，得到调节后的样本图像；对调节后的样本图像进行随机缩放，得到缩放后的样本图像；对缩放后的样本图像进行裁剪，得到裁剪后的样本图像；生成随机数，根据随机数对裁剪后的样本图像进行翻转，得到翻转后的样本图像；根据翻转后的样本图像对检测模型进行训练，得到训练后的检测模型。
具体地，物体分拣装置可以获取包含物体的样本图像，该物体的类型可以根据实际需要进行灵活设置，该样本图像可以是通过摄像头或相机采集得到，或者该样本图像可以是从服务器上下载得到，等等。
为了丰富训练样本，提高训练的精度，可以对获取到的样本图像进行一系列预处理，首先，对样本图像进行色度、亮度、以及饱和度的调节，例如，可以将样本图像的色度调节至0.6至1.4的亮度范围内，将样本图像的亮度调节至0.6至1.4的亮度范围内，以及将样本图像的饱和度调节至0.6至1.4的饱和度范围内，从而可以得到调节后的样本图像。或者，可以仅对样本图像进行色度调节，或者可以仅对样本图像进行亮度调节，或可以仅对样本图像进行饱和度调节，或，对样本图像进行亮度调节和饱和度调节，等等。
然后，可以对调节后的样本图像进行随机缩放，得到缩放后的样本图像，例如，可以生成0至1的随机数，若随机数在0至0.5之间，则对调节后的样本图像进行缩小，若随机数在0.5至1之间，则对调节后的样本图像进行放大。其中，缩小或放大的尺度可以根据实际需要进行灵活设置，例如，可以设置不同的数值区间与缩小尺度之间的映射关系，在确定需要对调节后的样本图像进行缩小后，可以生成0至1的随机数，并确定该随机数所在的数值区间，此时可以根据数值区间与缩小尺度之间的映射关系，确定当前的缩小尺度，基于该缩小尺度对调节后的样本图像进行缩小。又例如，可以设置不同的数值区间与放大尺度之间的映射关系，在确定需要对调节后的样本图像进行放大后，可以生成0至1的随机数，并确定该随机数所在的数值区间，此时可以根据数值区间与放大尺度之间的映射关系，确定当前的放大尺度，基于该放大尺度对调节后的样本图像进行放大。
其次，可以对缩放后的样本图像进行裁剪，得到裁剪后的样本图像，在一些实施方式中，对缩放后的样本图像进行裁剪，得到裁剪后的样本图像可以包括：对缩放后的样本图像进行随机裁剪，得到裁剪后的候选样本图像；获取候选样本图像中物体的边界框的中心位置；从候选样本图像中筛选出面积大于预设值，且包含物体的边界框的中心位置的图像，得到裁剪后的样本图像。
为了保证裁剪后的样本图像中包含物体的区域，提高用于模型训练的样本图像的可靠性，可以对样本图像进行筛选，例如，可以对缩放后的样本图像进行随机裁剪，得到裁剪后的候选样本图像，然后检测候选样本图像的面积大于预设值，该预设值可以根据实际需要进行灵活设置，例如该预设值可以为样本图像的面积80％，即检测候选样本图像的面积大于样本图像的面积80％。若候选样本图像的面积小于或等于预设值，则将该候选样本图像剔除，若候选样本图像的面积大于预设值，则检测候选样本图像中物体的边界框，该边界框的大小和形状可以根据实际需要进行灵活设置，例如该边界框可以是内切物体的四边形的边界框。此时可以判断该物体的边界框的中心位置是否位于候选样本图像中，若该物体的边界框的中心位置不位于候选样本图像中，则将该候选样本图像剔除，若该物体的边界框的中心位置位于候选样本图像中，则将该候选样本图像作为裁剪后的样本图像。
在得到裁剪后的样本图像后，可以生成随机数，该随机数可以是0至1范围内(包括0和1)的数值，以及根据随机数对裁剪后的样本图像进行翻转，得到翻转后的样本图像。例如，生成0至1的随机数后，若随机数在0至0.5之间，则可以对裁剪后的样本图像进行左右翻转、上下翻转或对角线翻转等，得到翻转后的样本图像；若随机数在0.5至1之间，则对裁剪后的样本图像不进行翻转。
最后，可以根据翻转后的样本图像对检测模型进行训练，得到训练后的检测模型。在一些实施方式中，根据翻转后的样本图像对检测模型进行训练，得到训练后的检测模型可以包括：对翻转后的样本图像进行尺寸归一化，得到尺寸归一化后的样本图像；将尺寸归一化后的样本图像进行像素值归一化，得到目标样本图像；从样本图像中截取物体的样本掩膜图像，并对样本掩膜图像进行预处理，得到预处理后的掩膜图像；获取样本图像中物体的类别和边界框；根据预处理后的掩膜图像、物体的类别和边界框对检测模型进行训练，得到训练后的检测模型。
为了提高模型训练的精度和效率，可以对翻转后的样本图像进行归一化处理，具体地，首先可以对翻转后的样本图像进行尺寸归一化，得到尺寸归一化后的样本图像：若翻转后的样本图像的长边大于预设长度值，则对翻转后的样本图像进行缩小，以使得长边为预设长度值，并用预设数值填充翻转后的样本图像的短边，以使得短边为预设长度值，得到尺寸归一化后的样本图像；或者，若翻转后的样本图像的长边小于预设长度值，则对翻转后的样本图像进行放大，以使得长边为预设长度值，并用预设数值填充翻转后的样本图像的短边，以使得短边为预设长度值，得到尺寸归一化后的样本图像。其中，该预设长度值和预设数值可以根据实际需要进行灵活设置。例如，若翻转后的样本图像的长边大于550，则对翻转后的样本图像进行缩小，使得长边等于550，以及对翻转后的样本图像的短边用数值0填充，使得短边的长度为550，从而可以得到尺寸归一化后的样本图像。若翻转后的样本图像的长边小于550，则对翻转后的样本图像进行放大，使得长边等于550，以及对翻转后的样本图像的短边用数值0填充，使得短边的长度为550，从而可以得到550*550的尺寸归一化后的样本图像。
然后，可以将尺寸归一化后的样本图像进行像素值归一化，得到目标样本图像。例如，可以将尺寸归一化后的样本图像的像素值归一化到-1至1之间，得到目标样本图像，例如可以计算尺寸归一化后的样本图像的像素均值，以及像素方差，然后利用尺寸归一化后的样本图像的像素值减去均值并除以方差，或者利用尺寸归一化后的样本图像的像素值/255*2-1.0，即将像素值归一化到-1至1之间。
以及，可以从样本图像中截取物体的掩膜，得到样本掩膜图像，该物体的掩膜可以包括物体的轮廓等，该样本掩膜图像可以是基于物体的轮廓从样本图像中截取出物体的图像。此时，为了提高训练的速度，可以对样本掩膜图像进行预处理，得到预处理后的掩膜图像，例如，将样本掩膜图像缩放到长宽为16*16像素的大小，得到缩放后的掩膜图像(即预处理后的掩膜图像)。物体分拣装置还可以获取样本图像上标注的各个物体的边界框以及各个物体的类别，该标注的物体的类别和边界框等即为真实值，此时可以根据预处理后的掩膜图像、物体的类别和边界框对YOLACT模型进行训练，得到训练后的YOLACT模型。例如，将样本图像、物体的边界框、物体的类别、以及掩膜图像等输入YOLACT模型，利用YOLACT模型计算样本图像中物体的边界框、物体的类别和物体的掩膜等，计算得到的物体的边界框、物体的类别和物体的掩膜等即为预测值。然后，将标注的物体的类别与计算得到的样本图像中物体的类别通过类别损失函数进行收敛，将标注的物体的边界框与计算得到的样本图像中物体的边界框通过边界框定位损失函数进行收敛，以及将提取的掩膜图像与计算得到的样本图像中物体的掩膜通过掩膜损失函数进行收敛，通过调整YOLACT模型的参数至合适数值，以使得损失达到较低并且梯度不再下降，降低真实值与预测值之间的误差，便可得到训练后的YOLACT模型。
在得到训练后的YOLACT模型后，可以通过训练后的YOLACT模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别。
在一些实施方式中，通过训练后的检测模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别可以包括：通过训练后的检测模型基于目标物体图像计算待分拣物体的候选物体掩膜、候选物体边界框和候选物体类别；通过非极大值抑制算法从候选物体掩膜、候选物体边界框和候选物体类别中，筛选出预测物体掩膜、预测物体边界框和预测物体类别；根据预测物体掩膜、预测物体边界框和预测物体类别，确定待分拣物体的物体掩膜和物体类别。
具体地，可以通过训练后的YOLACT模型基于目标物体图像计算待分拣物体的候选物体掩膜、候选物体边界框和候选物体类别，由于得到的候选物体掩膜可以包括一个或多个，候选物体边界框可以包括一个或多个，以及候选物体类别可以包括一个或多个，因此可以利用非极大值抑制算法(NMS，fast Non-Maximum suppression)从候选物体掩膜中筛选出概率最大的物体掩膜，得到预测物体掩膜，利用NMS从候选物体边界框中筛选出概率最大的边界框，得到预测物体边界框，以及利用NMS从候选物体类别筛选出概率最大的类别，得到预测物体类别。然后，根据预测物体掩膜、预测物体边界框和预测物体类别，确定待分拣物体的物体掩膜和物体类别。
在一些实施方式中，根据预测物体掩膜、预测物体边界框和预测物体类别，确定待分拣物体的物体掩膜和物体类别可以包括：将预测边界框缩放为物体图像的大小比例，得到所预测边界框在物体图像上的边界框；根据预测物体掩膜中的掩膜原型与掩膜系数获取掩膜图像；将掩膜图像通过插值缩放到物体图像的大小比例，得到置于边界框内的物体掩膜；根据预测物体类别确定待分拣物体的物体类别。
由于上述在对物体图像进行检测的过程中，可以对物体图像进行归一化处理，因此，此时可以对检测得到的边界框和掩膜等还原至物体图像中，例如，可以将预测边界框缩放为物体图像的大小比例，得到所预测边界框在物体图像上的真实的边界框，例如若上述在对物体图像进行尺寸归一化时，对物体图像进行放大为2:1，则此时可以将预测边界框缩小为1:2，并将缩小后的预测边界框映射至物体图像上。
预测物体掩膜中可以包括掩膜原型和掩膜系数等，可以根据预测物体掩膜中的掩膜原型(例如138*138*k)与掩膜系数(例如W*H*ka)做矩阵乘法，得到掩膜图像。以及，可以将掩膜图像通过插值缩放到物体图像的大小比例，并将掩膜图像置于在物体图像上的边界框内，得到置于边界框内的物体掩膜，即得到真实的待分拣物体的物体掩膜，以及可以根据预测物体类别确定待分拣物体的物体类别。
S103、根据待分拣物体的物体掩膜确定待分拣物体的重心位置。
在得到待分拣物体的物体掩膜后，为了方便确定待分拣物体的重心位置，可以将物体掩膜进行二值化处理，得到二值化后的掩膜图像，根据二值化后的掩膜图像确定待分拣物体的重心位置。
在一些实施方式中，根据待分拣物体的物体掩膜确定待分拣物体的重心位置可以包括：获取物体图像中物体与三维空间中物体之间的映射关系；根据映射关系确定待分拣物体在三维空间中的重心位置。
为了提高对待分拣物体的重心位置确定的准确性，可以获取物体图像中物体与三维空间中物体之间的映射关系，该映射关系可以根据实际需要进行灵活设置，根据该映射关系可以将物体图像上二维平面的物体还原至三维空间中的真实物体，例如，根据二维平面内的箱体可以还原为三维空间中箱体。然后，根据该映射关系可以确定待分拣物体在三维空间中的重心位置。
S104、根据重心位置和物体类别对待分拣物体进行分拣处理。
在得到待分拣物体的重心位置和物体类别后，可以根据待分拣物体的重心位置和物体类别等对待分拣物体进行分拣处理。
在一些实施方式中，根据重心位置和物体类别对待分拣物体进行分拣处理可以包括：基于待分拣物体在三维空间中的重心位置，控制机械手臂或其他抓取设备等抓取待分拣物体，并将待分拣物体分拣至与物体类别对应的区域。由于可以通过重心位置抓取待分拣物体的合适位置，因此可以提高抓取物体的稳定性，避免物体脱落后需要重新检测等，大大提高了对物体分拣的效率。
本申请实施例可以获取待分拣物体的物体图像，以及对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别，然后根据待分拣物体的物体掩膜确定待分拣物体的重心位置，此时可以根据重心位置和物体类别对待分拣物体进行分拣处理。该方案通过检测物体图像中待分拣物体的重心位置和物体类别，并基于重心位置和物体类别自动对待分拣物体进行分拣处理，相对于人工分拣，提高了对物体进行分拣的精度和效率。
根据上述实施例所描述的物体分拣方法，以下将作进一步详细说明。
请参照图2，图2为本申请实施例提供的物体分拣方法的另一流程示意图。该物体分拣方法可以应用于分拣设备，以下将以分拣设备对垃圾进行分拣为例，如图2所示，该物体分拣方法的流程可以如下：
S201、分拣设备获取待分拣垃圾的图像。
例如，可以将待分拣垃圾分为可回收垃圾和不可回收垃圾等，该可回收垃圾可包括饮料瓶、废纸、纺织物或金属制品等，该不可回收垃圾可以包括厨余垃圾和有害垃圾等。
分拣设备可以通过一个或者多个摄像头从不同角度采集待分拣垃圾的图像，得到多张图像。
S202、分拣设备对图像进行尺寸归一化，得到尺寸归一化后的图像。
为了提高检测的精准性和效率，分拣设备可以预先对图像进行预处理，例如可以对图像进行尺寸归一化：若图像的长边大于预设长度值，则对图像进行缩小，以使得长边为预设长度值，并用预设数值填充图像的短边，以使得短边为预设长度值，得到尺寸归一化后的图像；或者，若图像的长边小于预设长度值，则对图像进行放大，以使得长边为预设长度值，并用预设数值填充图像的短边，以使得短边为预设长度值，得到尺寸归一化后的图像。其中，该预设长度值和预设数值可以根据实际需要进行灵活设置。例如，若图像的长边大于600，则对图像进行缩小，使得长边等于600，以及对图像的短边用数值0填充，使得短边的长度为600，从而可以得到尺寸归一化后的图像。若图像的长边小于600，则对图像进行放大，使得长边等于600，以及对图像的短边用数值0填充，使得短边的长度为600，从而可以得到尺寸归一化后的图像为600*600像素。
S203、分拣设备对尺寸归一化后的图像进行像素值归一化，得到目标图像。
在得到尺寸归一化后的图像后，分拣设备可以对尺寸归一化后的图像进行像素值归一化，得到目标图像。例如，分拣设备可以将尺寸归一化后的图像的像素值归一化到-1至1之间：可以计算尺寸归一化后的图像的像素均值，以及像素方差，然后利用尺寸归一化后的图像的像素值减去均值并除以方差，或者利用尺寸归一化后的图像的像素值/255*2-1.0，得到目标图像。
S204、分拣设备通过训练后的YOLACT模型对目标图像进行检测，得到待分拣垃圾的掩膜和类别。
分拣设备可以预先按照上述训练方法对YOLACT模型进行训练，得到训练后的YOLACT模型，在得到训练后的YOLACT模型后，分拣设备可以通过训练后的YOLACT模型对目标图像进行检测，得到待分拣垃圾的掩膜和类别。
例如，可以通过训练后的YOLACT模型基于目标图像计算待分拣垃圾的候选掩膜、候选边界框和候选类别，由于得到的候选掩膜、候选边界框或候选类别均可以包括一个或多个，因此可以利用NMS从候选掩膜、候选边界框和候选类别分别筛选出概率最大的，分别得到预测掩膜、预测边界框和预测类别。然后，根据预测掩膜、预测边界框和预测类别，确定待分拣垃圾的掩膜和类别。
由于在对图像进行检测的过程中，可以对图像进行归一化处理，因此，此时分拣设备可以对检测得到的边界框和掩膜等还原至图像中，例如，可以将预测边界框缩放为图像的大小比例，得到所预测边界框在图像上的真实的边界框。以及，可以根据预测掩膜中的掩膜原型(例如138*138*k)与掩膜系数(例如w*h*ka)做矩阵乘法，得到掩膜图像。以及，可以将掩膜图像通过插值缩放到图像的大小比例，并将掩膜图像置于在图像上的边界框内，得到置于边界框内的掩膜，即得到真实的待分拣垃圾的掩膜。
例如，如图3所示，YOLACT模型可以包括backbone+FPN架构，该backbone+FPN可以包括两个分支：一个分支是用于检测垃圾的图像对应的掩膜原型(例如138*138*k)，另一个分支用于检测垃圾的图像对应的掩膜系数(即Mask coefficient，例如W*H*ka)、边界框(即Box)和类型(即Class)等，然后将掩膜原型和掩膜系数这两个矩阵相乘得到最终的掩膜结果，该图3中backbone可以使用resnet101，conv指的是卷积层，a指的是使用的anchors数量，c指的是类别数量，k指的是掩膜系数的维度，其中，W、H、a、c和k等参数的具体取值可以根据实际需要进行灵活设置。
S205、分拣设备根据待分拣垃圾的掩膜确定待分拣垃圾的重心位置。
在得到待分拣垃圾的掩膜后，为了方便确定待分拣垃圾的重心位置，可以将掩膜进行二值化处理，得到二值化后的掩膜图像，根据二值化后的掩膜图像确定待分拣垃圾的重心位置。
为了提高待分拣垃圾的重心位置确定的精准性，可以获取图像中垃圾与三维空间中垃圾之间的映射关系，该映射关系可以根据实际需要进行灵活设置，根据该映射关系可以将图像上二维平面的垃圾还原至三维空间中的真实垃圾。然后，根据该映射关系可以确定待分拣垃圾在三维空间中的重心位置。
S206、分拣设备基于重心位置抓取待分拣垃圾的合适位置，并将待分拣垃圾分拣至与类别对应的区域。
分拣设备可以基于待分拣垃圾在三维空间中的重心位置，控制机械手臂或其他抓取设备等抓取待分拣垃圾的合适位置，并将待分拣垃圾分拣至与类别对应的区域。由于可以通过重心位置抓取待分拣垃圾的合适位置，因此可以提高抓取垃圾的稳定性，避免垃圾脱落后需要重新检测等，大大提高了对垃圾分拣的效率。本实施例实现了自动垃圾分类，通过摄像头获取的图像，并识别出图像中垃圾的类别以及垃圾的所在位置，为了更好的抓取对应垃圾，不仅仅要在图像中识别出垃圾的位置，而且要得到垃圾的像素粒度的掩膜，以便精准确定垃圾的重心位置，确保能够稳定地抓取到垃圾，使用自动的垃圾分类可以节省很大的劳力。
本申请实施例分拣设备可以获取待分拣垃圾的图像，以及通过YOLACT模型对图像进行检测，得到待分拣垃圾的掩膜和类别，然后根据待分拣垃圾的掩膜确定待分拣垃圾的重心位置，此时可以根据重心位置和类别对待分拣垃圾进行分拣处理。该方案可以快速准确检测图像中待分拣垃圾的重心位置和类别，并基于重心位置和类别自动对待分拣垃圾进行分拣处理，大量减少人力的输出，提高了对垃圾进行分拣的精准性和效率。
为便于更好的实施本申请实施例提供的物体分拣方法，本申请实施例还提供一种基于上述物体分拣方法的装置。其中名词的含义与上述物体分拣方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图4，图4为本申请实施例提供的物体分拣装置的结构示意图，其中该物体分拣装置300可以包括获取模块301、检测模块302、确定模块303及分拣模块304等。
其中，获取模块301，用于获取待分拣物体的物体图像。
检测模块302，用于对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别。
确定模块303，用于根据待分拣物体的物体掩膜确定待分拣物体的重心位置。
分拣模块304，用于根据重心位置和物体类别对待分拣物体进行分拣处理。
在一些实施方式中，检测模块302可以包括第一归一化单元、第二归一化单元和检测单元等，具体可以如下：
第一归一化单元，用于对物体图像进行尺寸归一化，得到尺寸归一化后的物体图像；
第二归一化单元，用于对尺寸归一化后的物体图像进行像素值归一化，得到目标物体图像；
检测单元，用于通过训练后的检测模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别。
在一些实施方式中，第一归一化单元具体用于：若物体图像的长边大于预设长度值，则对物体图像进行缩小，以使得长边为预设长度值，并用预设数值填充物体图像的短边，得到尺寸归一化后的物体图像；或者，若物体图像的长边小于预设长度值，则对物体图像进行放大，以使得长边为预设长度值，并用预设数值填充物体图像的短边，得到尺寸归一化后的物体图像。
在一些实施方式中，检测单元可以包括计算子单元、筛选子单元和确定子单元等，具体可以如下：
计算子单元，用于通过训练后的检测模型基于目标物体图像计算待分拣物体的候选物体掩膜、候选物体边界框和候选物体类别；
筛选子单元，用于通过非极大值抑制算法从候选物体掩膜、候选物体边界框和候选物体类别中，筛选出预测物体掩膜、预测物体边界框和预测物体类别；
确定子单元，用于根据预测物体掩膜、预测物体边界框和预测物体类别，确定待分拣物体的物体掩膜和物体类别。
在一些实施方式中，确定子单元具体用于：将预测边界框缩放为物体图像的大小比例，得到所预测边界框在物体图像上的边界框；根据预测物体掩膜中的掩膜原型与掩膜系数获取掩膜图像；将掩膜图像通过插值缩放到物体图像的大小比例，得到置于边界框内的物体掩膜；根据预测物体类别确定待分拣物体的物体类别。
在一些实施方式中，物体分拣装置还可以包括样本图像获取模块、调节模块、缩放模块、裁剪模块、翻转模块和训练模块等，具体可以如下：
样本图像获取模块，用于获取包含物体的样本图像；
调节模块，用于对样本图像进行色度、亮度、以及饱和度的调节，得到调节后的样本图像；
缩放模块，用于对调节后的样本图像进行随机缩放，得到缩放后的样本图像；
裁剪模块，用于对缩放后的样本图像进行裁剪，得到裁剪后的样本图像；
翻转模块，用于生成随机数，根据随机数对裁剪后的样本图像进行翻转，得到翻转后的样本图像；
训练模块，用于根据翻转后的样本图像对检测模型进行训练，得到训练后的检测模型。
在一些实施方式中，训练模块具体包括第三归一化单元、第四归一化单元、处理单元、获取单元和训练单元等，具体可以如下：
第三归一化单元，用于对翻转后的样本图像进行尺寸归一化，得到尺寸归一化后的样本图像；
第四归一化单元，用于将尺寸归一化后的样本图像进行像素值归一化，得到目标样本图像；
处理单元，用于从样本图像中截取物体的样本掩膜图像，并对样本掩膜图像进行预处理，得到预处理后的掩膜图像；
获取单元，用于获取样本图像中物体的类别和边界框；
训练单元，用于根据预处理后的掩膜图像、物体的类别和边界框对检测模型进行训练，得到训练后的检测模型。
在一些实施方式中，裁剪模块具体用于：
对缩放后的样本图像进行随机裁剪，得到裁剪后的候选样本图像；
获取候选样本图像中物体的边界框的中心位置；
从候选样本图像中筛选出面积大于预设值，且包含物体的边界框的中心位置的图像，得到裁剪后的样本图像。
在一些实施方式中，确定模块303具体用于：
获取物体图像中物体与三维空间中物体之间的映射关系；
根据映射关系确定待分拣物体在三维空间中的重心位置。
在一些实施方式中，分拣模块304具体用于：
基于待分拣物体在三维空间中的重心位置，抓取待分拣物体，并将待分拣物体分拣至与物体类别对应的区域。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本申请实施例可以由获取模块301获取待分拣物体的物体图像，以及由检测模块302对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别，然后由确定模块303根据待分拣物体的物体掩膜确定待分拣物体的重心位置，此时可以由分拣模块304根据重心位置和物体类别对待分拣物体进行分拣处理。该方案通过检测物体图像中待分拣物体的重心位置和物体类别，并基于重心位置和物体类别自动对待分拣物体进行分拣处理，提高了对物体进行分拣的精度和效率。
相应的，本发明实施例还提供一种分拣设备，如图5所示，该分拣设备可以包括射频(RF，Radio Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi，WirelessFidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解，图5中示出的分拣设备结构并不构成对分拣设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路401可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器408处理；另外，将涉及上行的数据发送给基站。通常，RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路401还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器402可用于存储软件程序以及模块，处理器408通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据分拣设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器408和输入单元403对存储器402的访问。
输入单元403可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元403可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器408，并能接收处理器408发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元403还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元404可用于显示由用户输入的信息或提供给用户的信息以及分拣设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器408以确定触摸事件的类型，随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图5中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
分拣设备还可包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在分拣设备移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别分拣设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于分拣设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路406、扬声器，传声器可提供用户与分拣设备之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路406接收后转换为音频数据，再将音频数据输出处理器408处理后，经RF电路401以发送给比如另一分拣设备，或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔，以提供外设耳机与分拣设备的通信。
WiFi属于短距离无线传输技术，分拣设备通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块407，但是可以理解的是，其并不属于分拣设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器408是分拣设备的控制中心，利用各种接口和线路连接整个分拣设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行分拣设备的各种功能和处理数据，从而对分拣设备进行整体监控。可选的，处理器408可包括一个或多个处理核心；优选的，处理器408可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器408中。
分拣设备还包括给各个部件供电的电源409(比如电池)，优选的，电源可以通过电源管理***与处理器408逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，分拣设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，分拣设备中的处理器408会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器408来运行存储在存储器402中的应用程序，从而执行以下功能：
获取待分拣物体的物体图像；对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别；根据待分拣物体的物体掩膜确定待分拣物体的重心位置；根据重心位置和物体类别对待分拣物体进行分拣处理。
在一些实施方式中，在对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别时，处理器408还用于执行：对物体图像进行尺寸归一化，得到尺寸归一化后的物体图像；对尺寸归一化后的物体图像进行像素值归一化，得到目标物体图像；通过训练后的检测模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别。
在一些实施方式中，在通过训练后的检测模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别时，处理器408还用于执行：通过训练后的检测模型基于目标物体图像计算待分拣物体的候选物体掩膜、候选物体边界框和候选物体类别；通过非极大值抑制算法从候选物体掩膜、候选物体边界框和候选物体类别中，筛选出预测物体掩膜、预测物体边界框和预测物体类别；根据预测物体掩膜、预测物体边界框和预测物体类别，确定待分拣物体的物体掩膜和物体类别。
在一些实施方式中，通过训练后的检测模型对目标物体图像进行检测，得到待分拣物体的物体掩膜和物体类别之前，处理器408还用于执行：获取包含物体的样本图像；对样本图像进行色度、亮度、以及饱和度的调节，得到调节后的样本图像；对调节后的样本图像进行随机缩放，得到缩放后的样本图像；对缩放后的样本图像进行裁剪，得到裁剪后的样本图像；生成随机数，根据随机数对裁剪后的样本图像进行翻转，得到翻转后的样本图像；根据翻转后的样本图像对检测模型进行训练，得到训练后的检测模型。
在一些实施方式中，在根据翻转后的样本图像对检测模型进行训练，得到训练后的检测模型时，处理器408还用于执行：对翻转后的样本图像进行尺寸归一化，得到尺寸归一化后的样本图像；将尺寸归一化后的样本图像进行像素值归一化，得到目标样本图像；从样本图像中截取物体的样本掩膜图像，并对样本掩膜图像进行预处理，得到预处理后的掩膜图像；获取样本图像中物体的类别和边界框；根据预处理后的掩膜图像、物体的类别和边界框对检测模型进行训练，得到训练后的检测模型。
在一些实施方式中，在对缩放后的样本图像进行裁剪，得到裁剪后的样本图像时，处理器408还用于执行：对缩放后的样本图像进行随机裁剪，得到裁剪后的候选样本图像；获取候选样本图像中物体的边界框的中心位置；从候选样本图像中筛选出面积大于预设值，且包含物体的边界框的中心位置的图像，得到裁剪后的样本图像。
在一些实施方式中，在根据重心位置和物体类别对待分拣物体进行分拣处理时，处理器408还用于执行：基于重心位置抓取待分拣物体，并将待分拣物体分拣至与物体类别对应的区域。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对物体分拣方法的详细描述，此处不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种物体分拣方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取待分拣物体的物体图像；对物体图像进行检测，得到待分拣物体的物体掩膜和物体类别；根据待分拣物体的物体掩膜确定待分拣物体的重心位置；根据重心位置和物体类别对待分拣物体进行分拣处理。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种物体分拣方法中的步骤，因此，可以实现本申请实施例所提供的任一种物体分拣方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种物体分拣方法、装置、分拣设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物体分拣方法，其特征在于，包括：
获取待分拣物体的物体图像；
对所述物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别；
根据所述待分拣物体的物体掩膜确定所述待分拣物体的重心位置；
根据所述重心位置和所述物体类别对所述待分拣物体进行分拣处理。
2.根据权利要求1所述的物体分拣方法，其特征在于，所述对所述物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别包括：
对所述物体图像进行尺寸归一化，得到尺寸归一化后的物体图像；
对所述尺寸归一化后的物体图像进行像素值归一化，得到目标物体图像；
通过训练后的检测模型对所述目标物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别。
3.根据权利要求2所述的物体分拣方法，其特征在于，所述通过训练后的检测模型对所述目标物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别包括：
通过训练后的检测模型基于所述目标物体图像计算所述待分拣物体的候选物体掩膜、候选物体边界框和候选物体类别；
通过非极大值抑制算法从所述候选物体掩膜、候选物体边界框和候选物体类别中，筛选出预测物体掩膜、预测物体边界框和预测物体类别；
根据所述预测物体掩膜、预测物体边界框和预测物体类别，确定所述待分拣物体的物体掩膜和物体类别。
4.根据权利要求3所述的物体分拣方法，其特征在于，所述根据所述预测物体掩膜、预测物体边界框和预测物体类别，确定所述待分拣物体的物体掩膜和物体类别包括：
将所述预测边界框缩放为所述物体图像的大小比例，得到所所述预测边界框在所述物体图像上的边界框；
根据所述预测物体掩膜中的掩膜原型与掩膜系数获取掩膜图像；
将所述掩膜图像通过插值缩放到所述物体图像的大小比例，得到置于所述边界框内的物体掩膜；
根据预测物体类别确定所述待分拣物体的物体类别。
5.根据权利要求2所述的物体分拣方法，其特征在于，所述通过训练后的检测模型对所述目标物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别之前，所述方法还包括：
获取包含物体的样本图像；
对所述样本图像进行色度、亮度、以及饱和度的调节，得到调节后的样本图像；
对所述调节后的样本图像进行随机缩放，得到缩放后的样本图像；
对所述缩放后的样本图像进行裁剪，得到裁剪后的样本图像；
生成随机数，根据所述随机数对所述裁剪后的样本图像进行翻转，得到翻转后的样本图像；
根据所述翻转后的样本图像对检测模型进行训练，得到训练后的检测模型。
6.根据权利要求5所述的物体分拣方法，其特征在于，所述根据所述翻转后的样本图像对检测模型进行训练，得到训练后的检测模型包括：
对所述翻转后的样本图像进行尺寸归一化，得到尺寸归一化后的样本图像；
将所述尺寸归一化后的样本图像进行像素值归一化，得到目标样本图像；
从所述样本图像中截取物体的样本掩膜图像，并对所述样本掩膜图像进行预处理，得到预处理后的掩膜图像；
获取所述样本图像中物体的类别和边界框；
根据所述预处理后的掩膜图像、所述物体的类别和边界框对检测模型进行训练，得到训练后的检测模型。
7.根据权利要求5所述的物体分拣方法，其特征在于，所述对所述缩放后的样本图像进行裁剪，得到裁剪后的样本图像包括：
对所述缩放后的样本图像进行随机裁剪，得到裁剪后的候选样本图像；
获取所述候选样本图像中物体的边界框的中心位置；
从候选样本图像中筛选出面积大于预设值，且包含物体的边界框的中心位置的图像，得到裁剪后的样本图像。
8.一种物体分拣装置，其特征在于，包括：
获取模块，用于获取待分拣物体的物体图像；
检测模块，用于对所述物体图像进行检测，得到所述待分拣物体的物体掩膜和物体类别；
确定模块，用于根据所述待分拣物体的物体掩膜确定所述待分拣物体的重心位置；
分拣模块，用于根据所述重心位置和所述物体类别对所述待分拣物体进行分拣处理。
9.一种分拣设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的物体分拣方法。
10.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至7任一项所述的物体分拣方法。
CN201910638417.3A 2019-07-16 2019-07-16 物体分拣方法、装置、分拣设备及存储介质 Pending CN112241747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910638417.3A CN112241747A (zh) 2019-07-16 2019-07-16 物体分拣方法、装置、分拣设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910638417.3A CN112241747A (zh) 2019-07-16 2019-07-16 物体分拣方法、装置、分拣设备及存储介质

Publications (1)

Publication Number Publication Date
CN112241747A true CN112241747A (zh) 2021-01-19

Family

ID=74166551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910638417.3A Pending CN112241747A (zh) 2019-07-16 2019-07-16 物体分拣方法、装置、分拣设备及存储介质

Country Status (1)

Country Link
CN (1) CN112241747A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114444622A (zh) * 2022-04-11 2022-05-06 中国科学院微电子研究所 一种基于神经网络模型的水果检测***和方法
CN114494884A (zh) * 2022-02-10 2022-05-13 北京工业大学 一种垃圾自动分拣多目标检测方法
CN115520786A (zh) * 2022-08-25 2022-12-27 江苏广坤铝业有限公司 铝材出料辅助转运设备及转运控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867176A (zh) * 2012-09-11 2013-01-09 清华大学深圳研究生院 一种人脸图像归一化方法
CN104058260A (zh) * 2013-09-27 2014-09-24 沈阳工业大学 基于视觉处理的机器人自动码垛方法
US20170349385A1 (en) * 2014-10-29 2017-12-07 Fives Intralogistics S.P.A. Con Socio Unico A device for feeding items to a sorting machine and sorting machine
CN107961990A (zh) * 2017-12-27 2018-04-27 华侨大学 一种建筑垃圾分拣***和分拣方法
CN108491892A (zh) * 2018-04-05 2018-09-04 聊城大学 基于机器视觉的水果分拣***
CN109389074A (zh) * 2018-09-29 2019-02-26 东北大学 一种基于人脸特征点提取的表情识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867176A (zh) * 2012-09-11 2013-01-09 清华大学深圳研究生院 一种人脸图像归一化方法
CN104058260A (zh) * 2013-09-27 2014-09-24 沈阳工业大学 基于视觉处理的机器人自动码垛方法
US20170349385A1 (en) * 2014-10-29 2017-12-07 Fives Intralogistics S.P.A. Con Socio Unico A device for feeding items to a sorting machine and sorting machine
CN107961990A (zh) * 2017-12-27 2018-04-27 华侨大学 一种建筑垃圾分拣***和分拣方法
CN108491892A (zh) * 2018-04-05 2018-09-04 聊城大学 基于机器视觉的水果分拣***
CN109389074A (zh) * 2018-09-29 2019-02-26 东北大学 一种基于人脸特征点提取的表情识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494884A (zh) * 2022-02-10 2022-05-13 北京工业大学 一种垃圾自动分拣多目标检测方法
CN114494884B (zh) * 2022-02-10 2024-06-07 北京工业大学 一种垃圾自动分拣多目标检测方法
CN114444622A (zh) * 2022-04-11 2022-05-06 中国科学院微电子研究所 一种基于神经网络模型的水果检测***和方法
CN115520786A (zh) * 2022-08-25 2022-12-27 江苏广坤铝业有限公司 铝材出料辅助转运设备及转运控制方法
CN115520786B (zh) * 2022-08-25 2024-02-27 江苏广坤铝业有限公司 铝材出料辅助转运设备及转运控制方法

Similar Documents

Publication Publication Date Title
CN109769065B (zh) 消息显示方法、装置、移动终端及存储介质
CN105867751B (zh) 操作信息处理方法和装置
CN111143015B (zh) 一种截屏方法及电子设备
CN112241747A (zh) 物体分拣方法、装置、分拣设备及存储介质
CN109002759A (zh) 文本识别方法、装置、移动终端以及存储介质
CN105989572B (zh) 图片处理方法及装置
CN107193518A (zh) 一种信息显示的方法以及终端设备
CN110070129B (zh) 一种图像检测方法、装置及存储介质
CN110443171B (zh) 视频文件的分类方法、装置、存储介质及终端
CN106296634B (zh) 一种检测相似图像的方法和装置
WO2016173350A1 (zh) 图片处理方法及装置
CN109388456B (zh) 一种头像选择方法及移动终端
CN103714161A (zh) 图像缩略图的生成方法、装置和终端
CN112488914A (zh) 图像拼接方法、装置、终端及计算机可读存储介质
CN114706895A (zh) 应急事件预案推荐方法、装置、存储介质及电子设备
CN103501487A (zh) 分类器更新方法、装置、终端、服务器及***
CN109658198B (zh) 一种商品推荐方法及移动终端
CN108600544A (zh) 一种单手控制方法及终端
CN109688611B (zh) 一种频段参数的配置方法、装置、终端和存储介质
CN111007980A (zh) 一种信息录入方法及终端设备
CN106302101B (zh) 消息提醒方法、终端及服务器
CN104834655B (zh) 一种显示网络资源的质量参数的方法和装置
CN108520760B (zh) 一种语音信号处理方法及终端
CN110717486B (zh) 文本检测方法、装置、电子设备和存储介质
CN107734049B (zh) 网络资源的下载方法、装置和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination