CN109410275B - 位置预测方法、装置、设备以及可读存储介质 - Google Patents

位置预测方法、装置、设备以及可读存储介质 Download PDF

Info

Publication number
CN109410275B
CN109410275B CN201811170888.8A CN201811170888A CN109410275B CN 109410275 B CN109410275 B CN 109410275B CN 201811170888 A CN201811170888 A CN 201811170888A CN 109410275 B CN109410275 B CN 109410275B
Authority
CN
China
Prior art keywords
target
acquiring
loss function
coordinates
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811170888.8A
Other languages
English (en)
Other versions
CN109410275A (zh
Inventor
彭佳勇
戴国政
戴国鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yibu Zhizao Technology Co ltd
Original Assignee
Shenzhen Yibu Zhizao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yibu Zhizao Technology Co ltd filed Critical Shenzhen Yibu Zhizao Technology Co ltd
Priority to CN201811170888.8A priority Critical patent/CN109410275B/zh
Publication of CN109410275A publication Critical patent/CN109410275A/zh
Application granted granted Critical
Publication of CN109410275B publication Critical patent/CN109410275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种位置预测方法、装置、设备和计算机存储介质，该位置预测方法包括：获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签；基于所述标签获取各所述训练样本对应的目标位置坐标；基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置。本发明解决了抓取点位置预测准确率较低的技术问题。

Description

位置预测方法、装置、设备以及可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种位置预测方法、装置、设备以及计算机可读存储介质。
背景技术
随着人们生活水平的提高及科技的不断发展，越来越多的工作都由人工操作转化为机器操作，而机器操作就需要用户为机器编写合适的算法，才能让机器能够精确定位到目标物体，从而满足用户的需求，而目前常用的算法PointNet++(一种点云分类/分割深度学习框架)是一种针对散乱点云的分类和目标分割方法，虽然能够让机器确定目标物体的位置，但没办法准确地预测出最佳抓取点，从而有可能会出现机器抓取目标物体不成功的现象发生，因此，如何提高抓取点位置预测准确率的问题成为了目前亟待解决的技术问题。
发明内容
本发明的主要目的在于提供一种位置预测方法、装置、设备和计算机存储介质，旨在解决抓取点位置预测准确率较低的技术问题。
为实现上述目的，本发明提供一种位置预测方法、装置、设备以及计算机可读存储介质，所述位置预测方法包括：
获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；
获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签；
基于所述标签获取各所述训练样本对应的目标位置坐标；
基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置。
可选地，所述基于所述目标位置坐标和所述目标数量建立回归模型的步骤，包括：
获取所述目标图像中的特征点坐标，并获取所述特征点坐标和各所述目标位置坐标之间的坐标差值；
基于所述坐标差值和所述目标数量获取各所述训练样本对应的损失函数值，并基于所述损失函数值建立回归模型。
可选地，所述基于所述坐标差值和各所述目标数量获取各所述训练样本对应的损失函数值的步骤，包括：
基于所述坐标差值确定所述特征点坐标和各所述目标位置坐标之间的三维空间距离；
基于各所述三维空间距离和所述目标数量，确定各所述训练样本对应的损失函数值。
可选地，所述基于各所述三维空间距离和所述目标数量确定各所述训练样本对应的损失函数值的步骤之后，包括：
判断所述损失函数值是否收敛；
若所述损失函数值收敛，则停止获取特征点坐标，并基于已获取的所述特征点坐标自动生成回归模型；
若所述损失函数值不收敛，则继续获取所述目标图像中的其它特征点坐标，直至损失函数值收敛。
可选地，所述基于所述回归模型进行位置预测的步骤的细化，包括：
基于所述回归模型确定所述损失函数值中的最小损失函数值，并获取所述最小损失函数值对应的最佳特征点坐标，并将所述最佳特征点坐标作为预测位置点。
可选地，所述获取各所述训练样本在图像信息中的目标区域的步骤包括：
在所述图像信息中获取具有各所述训练样本的样本图像，并在所述样本图像中确定各所述训练样本对应的各目标区域；
基于所述目标区域，获取所述训练样本在图像信息中的目标区域。
可选地，所述基于所述标签获取各所述训练样本对应的目标位置坐标的步骤，包括：
基于所述标签，获取各所述目标图像中的各标签位置坐标；
并在各所述标签位置坐标中，获取各所述训练样本对应的目标位置坐标。
此外，为实现上述目的，本发明还提供一种位置预测装置，所述位置预测装置包括：
第一获取模块，获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；
赋予模块，获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签；
第二获取模块，基于所述标签获取各所述训练样本对应的目标位置坐标；
预测模块，基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置。
此外，为实现上述目的，本发明还提供一种位置预测设备；
所述位置预测设备包括：存储器、检测通道、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：
所述计算机程序被所述处理器执行时实现如上所述的位置预测方法的步骤。
此外，为实现上述目的，本发明还提供计算机存储介质；
所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的位置预测方法的步骤。
本发明实施例提出的一种位置预测方法、装置、设备及可读存储介质，通过获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签；基于所述标签获取各所述训练样本对应的目标位置坐标；基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置。通过对训练样本进行多次拍照来获取训练样本的图像信息，并让用户从获取到的多张图片中选择出一张图片显示在显示界面上，再接收用户从图片中选择的目标区域，并根据此目标区域自动地在获取到的其它图片中，将具有目标区域的图片筛选出来，并为所有的目标区域赋予对应的标记信息，再根据标记信息确定每个训练样本对应的目标位置坐标，再从目标图像中提取其它的坐标点，并根据目标位置坐标和训练样本的目标数量来建立位置回归模型，最后从位置回归模型中确定最佳位置预测点，从而保障了用户的使用体验感，并且也提高了其智能化效果，提高了机器对目标物体抓取点位置识别的效率，还能在保证三维场景识别和分割的前提下，也解决了抓取点位置预测准确率较低的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；
图2为本发明位置预测方法第一实施例的流程示意图；
图3为本发明位置预测方法第二实施例的流程示意图；
图4为本发明位置预测设备一实施例的***结构示意图；
图5为本发明位置预测方法中机器训练位置预测的流程示意图；
图6为本发明位置预测方法中对目标区域添加对应的标签的场景示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为位置预测设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及位置预测程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的位置预测程序，并执行以下操作：
获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；
获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签；
基于所述标签获取各所述训练样本对应的目标位置坐标；
基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置。
本发明提供一种位置预测方法，在位置预测方法第一实施例中，参照图2，位置预测方法包括以下步骤：
步骤S10，获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；
图像信息可以为训练样本的数量信息、各个训练样本在同一张照片内部的位置信息和图片数量信息等。当在待抓取平台上检测到存在有一批训练样本时，需要先采集获取这一批训练样本的各个图像信息，并在***中通过PointNet++(一种点云分类/分割深度学***台附近的摄像头对这一批训练样本进行不同角度的拍摄，以获取多张训练样本的图片，并根据这些照片来获取训练样本的各图像信息。其中，PointNet++算法是一种针对散乱点云的分类和目标分割方法，并且其本质是PointNet算法的分层版本，每个图层都有三个子阶段，分别为采样、分组和PointNeting，即在第一阶段选择质心，在第二阶段创建多个子点云，最后将这些子点云传递到PointNet网络，从而获得这些子点云的更高维表示。
步骤S20，获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签；
标签可以为***对目标图像中的目标区域做上的标记信息，并且同一张图片中的不同目标区域其标记信息也不同，即不同的训练样本对应的标记信息不同。当获取到训练样本的数量后，还需要在图像信息中确定在当前时刻已获取到的图片数量，并当发现图片数量满足需求时，从这些图片中筛选出一张包含所有训练样本的图片显示在显示界面上，然后再接收用户的选择确定指令确定当前图片上的目标区域，并对此目标区域赋予对应的标记信息，即当用户在当前图片中选择多个目标区域时，***也会自动地为这些目标区域赋予不同的标记信息，并且当用户已确定当前图片的目标区域后，***会自动地根据此目标区域在获取到的所有图片中，判断哪些图片是存在有与目标区域相同的图片，并将这些存在有与目标区域相同的图片筛选出来以作为目标图像，并自动地为各个目标图像中的不同目标区域赋予对应的标记信息，以作区分。
例如，如图6所示，当训练样本有且只有三个，分别为训练样本A、训练样本B和训练样本C时，需要对这三个训练样本进行图像采集，并且在获取到的多个图像中，选择出一个具有这三个训练样本信息的图像，再从此图像中确定这三个训练样本对应的三个目标区域，并分别赋予对应的标记信息为A1、B1、C1，***再根据这三个目标区域在其它图像中筛选出具有这三个目标区域中任意一个的目标图像，并赋予对应的标记信息，如训练样本A对应的A1、A2、A3等、训练样本B对应的B1、B2、B3等、训练样本C对应的C1、C2、C3等。
步骤S30，基于所述标签获取各所述训练样本对应的目标位置坐标；
当对各个目标图像中的所有目标区域都赋予对应的标签后，还需要根据这些标签确定各个目标图像中所有目标区域的位置坐标，并从这些位置坐标中确定各个训练样本对应的目标位置坐标。其中，从各位置坐标中确定各个训练样本对应的目标位置坐标的方法可以是通过用户提前设置的预设规则从这些位置坐标中确定各个训练样本对应的目标位置坐标。
步骤S40，基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置。
当确定各个目标位置坐标后，还需要根据目标位置坐标和目标数量建立回归模型，并根据回归模型预测训练样本的待抓取位置，即确定抓取概率最高的位置坐标点对训练样本进行抓取。
为辅助理解回归模型的工作原理，以下用具体例子解释说明：
例如，在获取到的图像中，预先对目标点云的最佳抓取位置赋予对应的标签，
Figure BDA0001828626180000071
代表第i个样本的抓取最佳位置(标签)。假设PointNet++网络提取的特征为Fi，则定义一回归方法f，
Figure BDA0001828626180000072
那么代价函数设置为
Figure BDA0001828626180000073
M是训练样本的数量，
Figure BDA0001828626180000074
是每一样本预测位置和真实位置的三维空间距离。
通过优化算法，最小化Loss(损失函数)，并通过神经网络BP(back propagation)，更新迭代PointNet++的网络权重参数，直至收敛，这样对位置预测的深度学习-回归模型就训练好了，可用于在线抓取位置预测。
例如，如图5所示，***先进行离线训练，再进行在线预测抓取，其中，离线训练部分为***先进行训练数据集准备阶段，然后再通过改进的PointNet++网络特征提取，对提取的特征进行目标分类和目标分割，并进行抓(吸)取点位置回归，从而建立位置回归模型，而在线预测部分可以是先根据离线训练部分的目标分类和目标分割来对待拾取目标点云分割，然后再基于提前建立好的位置回归模型，进行离线特征提取，并将特征点代入位置回归模型中，进行法向量计算，从而确定特征点是否符合用户的需求，当确定特征点符合用户的需求时，则会指导机器进行抓(吸)取。
在本实施例中，通过获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的第一目标图像，并在各所述目标图像中的目标区域添加标签；基于所述标签获取各所述训练样本对应的目标位置坐标；基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置。在本方案中，通过对训练样本进行多次拍照来获取训练样本的图像信息，并让用户从获取到的多张图片中选择出一张图片显示在显示界面上，再接收用户从图片中选择的目标区域，并根据此目标区域自动地在获取到的其它图片中，将具有目标区域的图片筛选出来，并为所有的目标区域赋予对应的标记信息，再根据标记信息确定每个训练样本对应的目标位置坐标，再从目标图像中提取其它的坐标点，并根据目标位置坐标和训练样本的目标数量来建立位置回归模型，最后从位置回归模型中确定最佳位置预测点，从而保障了用户的使用体验感，并且也提高了其智能化效果，提高了机器对目标物体抓取点位置识别的效率，还能在保证三维场景识别和分割的前提下，也解决了抓取点位置预测准确率较低的技术问题。
进一步地，在本发明第一实施例的基础上，提出了本发明位置预测方法的第二实施例，本实施例是本发明第一实施例的步骤S40基于所述目标位置坐标和所述目标数量建立回归模型的步骤细化，参照图3，所述基于所述目标位置坐标和所述目标数量建立回归模型的步骤包括：
步骤S41，获取所述目标图像中的特征点坐标，并获取所述特征点坐标和各所述目标位置坐标之间的坐标差值；
步骤S42，基于所述坐标差值和所述目标数量获取各所述训练样本对应的损失函数值，并基于所述损失函数值建立回归模型。
在目标图像中，需要随机提取一个特征点，并获取此特征点的特征点坐标，然后再将获取到的特征点坐标和各个目标位置坐标进行比较，以获取此特征点和各个目标位置坐标之间的各个坐标差值，再从这些坐标差值中确定各个训练样本对应的各个坐标差值，再根据这些坐标差值和目标数量获取各个训练样本对应损失函数值，再基于这些损失函数值建立回归模型，即每个训练样本都有各自对应的回归模型。其中基于损失函数值建立回归模型的方法可以是通过不断更新特征点坐标，来最小化损失函数值，直到损失函数值收敛，从而建立回归模型。其中，损失函数值可以为训练样本对应的平均值。
在本实施例中，通过获取目标图像中的特征点坐标和目标位置坐标之间的坐标差值，并根据此坐标差值和训练样本的目标数量确定了回归模型，从而能够让用户准确知道***提取的特征点距离目标位置坐标还有多远，从而提高了用户的使用体验感。
具体地，基于所述差值和各所述目标数量获取各所述训练样本对应的损失函数值的步骤，包括：
步骤S421，基于所述坐标差值确定所述特征点坐标和各所述目标位置坐标之间的三维空间距离；
步骤S422，基于各所述三维空间距离和所述目标数量，确定各所述训练样本对应的损失函数值。
当获取到特征点坐标和各个目标位置坐标之间的差值后，还需要根据这些差值确定该特征点和各个目标位置坐标之间的三维空间距离，即确定当前获取到的特征点距离各个训练样本的目标位置点还有多远，再根据获取到的三维空间距离和训练样本的目标数量确定各个训练样本对应的损失函数，即确定该特征点抓取各个训练样本的抓取概率。
在本实施例中，通过确定***提取的特征点距离目标位置坐标点的三维空间距离，能够让***确定损失函数值是否收敛，也就是，能够让用户知道，***现在获取到的特征点，抓取训练样本的成功率是多少，从而提高了其智能化效果。
具体地，基于各所述三维空间距离和所述目标数量确定各所述训练样本对应的损失函数值的步骤之后，包括：
步骤S423，判断所述损失函数值是否收敛；
步骤S424，若所述损失函数值收敛，则停止获取特征点坐标，并基于已获取的所述特征点坐标自动生成回归模型；
步骤S425，若所述损失函数值不收敛，则继续获取所述目标图像中的其它特征点坐标，直至损失函数值收敛。
当获取到各个损失函数值后，还需要判断获取到的这些损失函数值是否收敛，即确定这些损失函数值是否达到最小值，当经过判断发现存在有训练样本对应的损失函数值收敛，则会停止获取与此训练样本对应的特征点坐标，并基于已获取到的各个特征点坐标，确定已获取到的各个特征点坐标对应的各个已确定损失函数值，并基于这些已确定损失函数值自动生成回归模型，即当确定有某一个训练样本对应的损失函数值达到最小值后，则会停止将其它特征点坐标和此训练样本对应的目标位置坐标进行比较；但是，当经过判断发现存在有损失函数值不收敛，则会继续获取目标图像中的其它特征点坐标，并将该其它特征点坐标和此不收敛的损失函数值对应的目标位置坐标进行比较，以获取其差值，即确定其它特征点坐标和该不收敛的损失函数值对应的目标位置坐标之间的三维空间距离，并当发现其三维空间距离最小时，即直至损失函数值收敛时，确定其回归模型。
在本实施例中，通过判断损失函数值是否收敛，来确定训练样本对应的回归模型是否创建完成，并当损失函数值没有达到收敛值，则会自动地继续完善回归模型，从而提高了其智能化效果。
进一步地，在本发明第一至第二实施例任意一个的基础上，提出了本发明位置预测方法的第二实施例，本实施例是在本发明第一实施例的步骤S40基于所述回归模型进行在线抓取位置预测的步骤的细化，包括：
步骤S50，基于所述回归模型确定所述损失函数值中的最小损失函数值，并获取所述最小损失函数值对应的最佳特征点坐标，并将所述最佳特征点坐标作为预测位置点。
当在***中建立好各个回归模型后，还需要在各个回归模型中确定损失函数值中的最小损失函数值，并需要确定各个最小损失函数值对应的最佳特征点，并将这些最佳特征点作为每个训练样本对应的预测位置点。例如，当训练样本有三个时，则回归模型也有三个，即每个训练样本都有一个与之对应的回归模型，现需要从这三个回归模型中确定与三个训练样本一一对应的最小损失函数值，即从每个训练样本中确定一个最小损失函数值，再获取这三个最小损失函数值对应的最佳特征点坐标，并将此最佳特征点坐标作为预测位置点。
在本实施例中，当在***中已建立好回归模型后，***就可以自动地从回归模型中选出最佳预测位置点，并且当用户对***推荐的最佳预测位置点不满意时，也可以根据回归模型再次选择一个位置点，从而在提高了智能化效果的同时，也解决了抓取点位置预测准确率较低的技术问题。
进一步地，在本发明第一至第三实施例任意一个的基础上，提出了本发明位置预测方法的第四实施例，本实施例是在本发明第一实施例的步骤S20的细化，包括：
步骤S21，在所述图像信息中获取具有各所述训练样本的样本图像，并在所述样本图像中确定各所述训练样本对应的各目标区域；
步骤S22，基于所述目标区域，获取所述训练样本在图像信息中的目标区域。
样本图像可以为用户随机在***中获取到的图片中任意选择一张。在获取到的图像信息中，获取具有各个训练样本的样本图像，并在样本图像中确定各个训练样本对应的各个目标区域，即需要在样本图像中确定与训练样本一一对应的目标区域，并根据这些目标区域在图像信息中确定有哪些图片中存在有与样本图像中的某一个目标区域相匹配的特征区域，并将这些图像筛选出来，即在图像信息中筛选出具有目标区域的目标图像，然后再对这些目标区域分别赋予不同的标记信息，即每个训练样本对应的目标区域，其标记信息均不相同。
在本实施中，通过确定样本图像的目标区域来确定各个目标图像中的目标区域，从而提高了其智能化效果，并保障了用户的使用体验感。
进一步地，在本发明第一至第四实施例任意一个的基础上，提出了本发明位置预测方法的第五实施例，本实施例是在本发明第一实施例的步骤S30的细化，包括：
步骤S31，基于所述标签，获取各所述目标图像中的各标签位置坐标；
步骤S32，并在各所述标签位置坐标中，获取各所述训练样本对应的目标位置坐标。
当对各个目标图像均赋予对应的标签后，还需要根据这些标签在各个目标图像中获取这些标签对应的各个标签位置坐标，再根据用户提前设置的预设规则在各个标签位置坐标中获取各个训练样本对应的目标位置坐标，即每个训练样本都有一个对应的目标位置坐标。例如，当用户根据自身的喜好需求，认为训练样本的最上方是最佳位置点，则可以提前在***中设置，并从获取到的各个位置坐标中筛选出训练样本的最上方对应的标记位置坐标点，并将其作为目标位置坐标。
在本实施例中，通过根据标签确定各个训练样本对应的目标位置坐标，从而满足了用户的使用需求，解决了抓取点位置预测准确率较低的技术问题。
此外，参照图4，本发明实施例还提出一种位置预测装置，所述位置预测装置包括：
第一获取模块，获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；
赋予模块，获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签；
第二获取模块，基于所述标签获取各所述训练样本对应的目标位置坐标；
预测模块，基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置。
可选地，所述预测模块包括：
获取所述目标图像中的特征点坐标，并获取所述特征点坐标和各所述目标位置坐标之间的坐标差值；
建立单元，基于所述坐标差值和所述目标数量获取各所述训练样本对应的损失函数值，并基于所述损失函数值建立回归模型。
可选地，所述建立单元，包括：
基于所述坐标差值确定所述特征点坐标和各所述目标位置坐标之间的三维空间距离；
基于各所述三维空间距离和所述目标数量，确定各所述训练样本对应的损失函数值。
可选地，所述建立单元之后，包括：
判断所述损失函数值是否收敛；
若所述损失函数值收敛，则停止获取特征点坐标，并基于已获取的所述特征点坐标自动生成回归模型；
若所述损失函数值不收敛，则继续获取所述目标图像中的其它特征点坐标，直至损失函数值收敛。
可选地，所述预测模块，还包括：
基于所述回归模型确定所述损失函数值中的最小损失函数值，并获取所述最小损失函数值对应的最佳特征点坐标，并将所述最佳特征点坐标作为预测位置点。
可选地，所述赋予模块，包括：
在所述图像信息中获取具有各所述训练样本的样本图像，并在所述样本图像中确定各所述训练样本对应的各目标区域；
基于所述目标区域，获取所述训练样本在图像信息中的目标区域。
可选地，所述第二获取模块，包括：
基于所述标签，获取各所述目标图像中的各标签位置坐标；
并在各所述标签位置坐标中，获取各所述训练样本对应的目标位置坐标。
其中，位置预测装置的各个功能模块实现的步骤可参照本发明位置预测方法的各个实施例，此处不再赘述。
本发明还提供一种终端，所述终端包括：存储器、检测通道、处理器、通信总线以及存储在所述存储器上的位置预测程序：
所述通信总线用于实现处理器和存储器之间的连接通信；
所述处理器用于执行所述位置预测程序，以实现上述位置预测方法各实施例的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述位置预测方法各实施例的步骤。
本发明计算机可读存储介质具体实施方式与上述位置预测方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种位置预测方法，其特征在于，所述位置预测方法包括以下步骤：
获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；
获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签，其中，在所述图像信息中确定当前时刻已获取的图片数量，并在所有图片中筛选出一张包含所有训练样本的图片显示在显示界面，接收用户输入的选择确定指令，基于所述选择确定指令确定所述显示界面中的当前图片上的目标区域，并根据所述目标区域在各所述图片中筛选出与目标区域相同的图片作为目标图像；
基于所述标签获取各所述训练样本对应的目标位置坐标；
基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置，其中，预先对目标点云的最佳抓取位置赋予标签
Figure FDA0002982972850000011
并通过PointNet++网络进行特征提取，以获取所述目标图像中的特征点坐标Fi，且Fi满足
Figure FDA0002982972850000012
设置损失函数
Figure FDA0002982972850000013
其中，
Figure FDA0002982972850000014
代表第i个样本的抓取最佳位置，M是训练样本的数量，
Figure FDA0002982972850000015
是每一样本预测位置和真实位置的三维空间距离；
获取所述特征点坐标和各所述目标位置坐标之间的坐标差值，基于所述坐标差值和所述目标数量获取各所述训练样本对应的损失函数值，并基于所述损失函数值建立回归模型，其中，判断所述损失函数值是否收敛；若所述损失函数值收敛，则停止获取特征点坐标，并基于已获取的所述特征点坐标自动生成回归模型；若所述损失函数值不收敛，则继续获取所述目标图像中的其它特征点坐标，直至损失函数值收敛；
其中，基于所述回归模型确定所述损失函数值中的最小损失函数值，并获取所述最小损失函数值对应的最佳特征点坐标，并将所述最佳特征点坐标作为预测位置点。
2.如权利要求1所述的位置预测方法，其特征在于，所述获取各所述训练样本在图像信息中的目标区域的步骤包括：
在所述图像信息中获取具有各所述训练样本的样本图像，并在所述样本图像中确定各所述训练样本对应的各目标区域；
基于所述目标区域，获取所述训练样本在图像信息中的目标区域。
3.如权利要求1所述的位置预测方法，其特征在于，所述基于所述标签获取各所述训练样本对应的目标位置坐标的步骤，包括：
基于所述标签，获取各所述目标图像中的各标签位置坐标；
并在各所述标签位置坐标中，获取各所述训练样本对应的目标位置坐标。
4.一种位置预测装置，其特征在于，所述位置预测装置包括：
第一获取模块，获取训练样本的图像信息，并基于所述图像信息获取所述训练样本的目标数量；
赋予模块，获取各所述训练样本在图像信息中的目标区域，在所述图像信息中筛选出具有目标区域的目标图像，并在各所述目标图像中的目标区域添加标签，其中，在所述图像信息中确定当前时刻已获取的图片数量，并在所有图片中筛选出一张包含所有训练样本的图片显示在显示界面，接收用户输入的选择确定指令，基于所述选择确定指令确定所述显示界面中的当前图片上的目标区域，并根据所述目标区域在各所述图片中筛选出与目标区域相同的图片作为目标图像；
第二获取模块，基于所述标签获取各所述训练样本对应的目标位置坐标；
预测模块，基于所述目标位置坐标和所述目标数量建立回归模型，并基于所述回归模型预测训练样本的待抓取位置，其中，预先对目标点云的最佳抓取位置赋予标签
Figure FDA0002982972850000021
并通过PointNet++网络进行特征提取，以获取所述目标图像中的特征点坐标Fi，且Fi满足
Figure FDA0002982972850000022
设置损失函数
Figure FDA0002982972850000023
其中，
Figure FDA0002982972850000024
代表第i个样本的抓取最佳位置，M是训练样本的数量，
Figure FDA0002982972850000025
是每一样本预测位置和真实位置的三维空间距离；
获取所述特征点坐标和各所述目标位置坐标之间的坐标差值，基于所述坐标差值和所述目标数量获取各所述训练样本对应的损失函数值，并基于所述损失函数值建立回归模型，其中，判断所述损失函数值是否收敛；若所述损失函数值收敛，则停止获取特征点坐标，并基于已获取的所述特征点坐标自动生成回归模型；若所述损失函数值不收敛，则继续获取所述目标图像中的其它特征点坐标，直至损失函数值收敛；其中，基于所述回归模型确定所述损失函数值中的最小损失函数值，并获取所述最小损失函数值对应的最佳特征点坐标，并将所述最佳特征点坐标作为预测位置点。
5.一种位置预测设备，其特征在于，所述位置预测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的位置预测程序，所述位置预测程序被所述处理器执行时实现如权利要求1至3中任一项所述的位置预测方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有位置预测程序，所述位置预测程序被处理器执行时实现如权利要求1至3中任一项所述的位置预测方法的步骤。
CN201811170888.8A 2018-10-15 2018-10-15 位置预测方法、装置、设备以及可读存储介质 Active CN109410275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811170888.8A CN109410275B (zh) 2018-10-15 2018-10-15 位置预测方法、装置、设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811170888.8A CN109410275B (zh) 2018-10-15 2018-10-15 位置预测方法、装置、设备以及可读存储介质

Publications (2)

Publication Number Publication Date
CN109410275A CN109410275A (zh) 2019-03-01
CN109410275B true CN109410275B (zh) 2021-07-06

Family

ID=65466145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811170888.8A Active CN109410275B (zh) 2018-10-15 2018-10-15 位置预测方法、装置、设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN109410275B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160142B (zh) * 2019-12-14 2023-07-11 上海交通大学 一种基于数值预测回归模型的证件票据定位检测方法
CN111080694A (zh) * 2019-12-20 2020-04-28 上海眼控科技股份有限公司 定位模型的训练和定位方法、装置、设备以及存储介质
CN111141211B (zh) * 2019-12-24 2021-09-10 深圳信息职业技术学院 基于深度学习的电容定位检测方法、服务器及检测***
CN111145257B (zh) * 2019-12-27 2024-01-05 深圳市越疆科技有限公司 物品抓取方法、***及物品抓取机器人
CN111310746B (zh) * 2020-01-15 2024-03-01 支付宝实验室(新加坡)有限公司 文本行检测方法、模型训练方法、装置、服务器及介质
CN112541587A (zh) * 2020-11-19 2021-03-23 西人马帝言(北京)科技有限公司 一种识别模型训练方法、装置、设备及计算机存储介质
CN112529158A (zh) * 2020-12-08 2021-03-19 华强方特（深圳）科技有限公司 位置预测方法、装置、计算机设备及存储介质
CN112873212B (zh) * 2021-02-25 2022-05-13 深圳市商汤科技有限公司 抓取点检测方法及装置、电子设备和存储介质
CN114372213B (zh) * 2022-03-22 2022-06-10 腾讯科技（深圳）有限公司 信息处理方法、装置、设备、存储介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Efficient Grasping from RGBD Images: Learning using a new Rectangle Representation;Yun Jiang;《IEEE International Conference on Robotics and Automation》;20110531;第1-8页 *

Also Published As

Publication number Publication date
CN109410275A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109410275B (zh) 位置预测方法、装置、设备以及可读存储介质
CN109961009B (zh) 基于深度学习的行人检测方法、***、装置及存储介质
CN110163076B (zh) 一种图像数据处理方法和相关装置
US9953506B2 (en) Alarming method and device
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
CN112162930B (zh) 一种控件识别的方法、相关装置、设备及存储介质
WO2021003825A1 (zh) 视频镜头剪切的方法、装置及计算机设备
US9269009B1 (en) Using a front-facing camera to improve OCR with a rear-facing camera
CN112101317B (zh) 页面方向识别方法、装置、设备及计算机可读存储介质
CN111506758B (zh) 物品名称确定方法、装置、计算机设备及存储介质
CN104182127A (zh) 图标移动方法和装置
US9135712B2 (en) Image recognition system in a cloud environment
CN109495616B (zh) 一种拍照方法及终端设备
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
CN110991491A (zh) 图像标注方法、装置、设备及存储介质
CN112633313B (zh) 一种网络终端的不良信息识别方法及局域网终端设备
WO2019033568A1 (zh) 嘴唇动作捕捉方法、装置及存储介质
US10115206B2 (en) Detection system, detection method, and program storage medium
CN113010018B (zh) 交互控制方法、终端设备及存储介质
TW201448585A (zh) 利用行動電話及雲端可視化搜尋引擎之即時物體掃描
CN112950525A (zh) 图像检测方法、装置及电子设备
CN111563398A (zh) 用于确定目标物的信息的方法和装置
WO2023005813A1 (zh) 图像方向调整方法、装置、存储介质及电子设备
WO2022033306A1 (zh) 目标跟踪方法和装置
CN111080665A (zh) 图像边框识别方法、装置、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant