CN107562050B - 一种机器人识别环境的方法及*** - Google Patents

一种机器人识别环境的方法及*** Download PDF

Info

Publication number
CN107562050B
CN107562050B CN201710756377.3A CN201710756377A CN107562050B CN 107562050 B CN107562050 B CN 107562050B CN 201710756377 A CN201710756377 A CN 201710756377A CN 107562050 B CN107562050 B CN 107562050B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
network model
image information
candidate frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710756377.3A
Other languages
English (en)
Other versions
CN107562050A (zh
Inventor
刘治
李家兴
章云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710756377.3A priority Critical patent/CN107562050B/zh
Publication of CN107562050A publication Critical patent/CN107562050A/zh
Application granted granted Critical
Publication of CN107562050B publication Critical patent/CN107562050B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人识别环境的方法及***,其中该方法包括:采集外界环境的待测图像信息;将待测图像信息输入至预先训练的基于区域候选的卷积神经网络模型;获取卷积神经网络模型输出的与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息;基于每一个候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划。实验证明,本发明提供的一种机器人识别环境的方法利用基于区域候选的卷积神经网络模型提高了机器人对环境的识别准确度。综上所述,本发明提供的一种机器人识别环境的方法解决了如何提高机器人对环境的识别准确度的技术问题。

Description

一种机器人识别环境的方法及***
技术领域
本发明涉及机器人技术领域,更具体地说,涉及一种机器人识别环境的方法及***。
背景技术
随着机器人技术的发展,越来越多的机器人进入餐厅等服务行业。由于餐厅等服务场所的环境比较复杂,所以需要机器人对环境有较高的识别准确度。
现有的一种机器人识别环境的方法是工业机器人识别环境的方法,包括图像采集、图像处理、坐标提取、转化成机器人坐标、基于机器人坐标进行运动规划。
然而,现有的工业机器人识别环境的方法对周边环境的识别度低,不适合应用到环境比较复杂的服务场所。
综上所述,如何提高机器人对环境的识别准确度是目前本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种机器人识别环境的方法,其能解决如何提高机器人对环境的识别准确度的技术问题。本发明还提供了一种机器人识别环境的***。
为了实现上述目的,本发明提供如下技术方案:
一种机器人识别环境的方法,包括:
采集外界环境的待测图像信息;
将所述待测图像信息输入至预先训练的基于区域候选的卷积神经网络模型;
获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息;
基于每一个所述候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划。
优选的,所述预先训练基于区域候选的卷积神经网络模型,包括:
按照预先设定的参数创建基于区域候选的卷积神经网络模型为当前神经网络模型;
获取预设量的训练图像信息,并将所述训练图像信息输入至当前卷积神经网络模型;
获取当前卷积神经网络模型输出的与所述训练图像信息中每一个测试对象对应的包含该测试对象的每一个候选框包含该测试对象的概率值;
判断每一个所述候选框对应的概率值是否均大于预先设定的阈值,若是,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型;若否,则调整当前卷积神经网络模型中的参数得到对应的卷积神经网络模型为当前卷积神经网络模型,执行所述将所述训练图像信息输入至当前卷积神经网络模型的步骤,直到每一个所述候选框对应的概率值均大于预先设定的阈值,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型。
优选的,所述采集外界环境的待测图像信息之后,所述将所述待测图像信息输入至基于区域候选的卷积神经网络模型之前,还包括:
对所述待测图像信息进行归一化和图像增强处理。
优选的,所述获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,包括:
获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,所述候选框的形状包括矩形。
本发明还提供了一种机器人识别环境的***,包括:
采集模块,用于采集外界环境的待测图像信息;
输入模块,用于将所述待测图像信息输入至训练模块预先训练的基于区域候选的卷积神经网络模型;
获取模块,用于获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息;
规划模块,用于基于每一个所述候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划。
优选的,还包括:
训练模块,用于:按照预先设定的参数创建基于区域候选的卷积神经网络模型为当前卷积神经网络模型;获取预设量的训练图像信息,并将所述训练图像信息输入至当前卷积神经网络模型;获取当前卷积神经网络模型输出的与所述训练图像信息中每一个测试对象对应的包含该测试对象的每一个候选框包含该测试对象的概率值;判断每一个所述候选框对应的概率值是否均大于预先设定的阈值,若是,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型;若否,则调整当前卷积神经网络模型中的参数得到对应的卷积神经网络模型为当前卷积神经网络模型,执行所述将所述训练图像信息输入至当前卷积神经网络模型的步骤,直到每一个所述候选框对应的概率值均大于预先设定的阈值,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型。
优选的,还包括:
预处理模块,用于在所述采集模块采集外界环境的待测图像信息之后,所述输入模块将所述待测图像信息输入至训练模块预先训练的基于区域候选的卷积神经网络模型之前,对所述待测图像信息进行归一化和图像增强处理。
优选的,所述获取模块包括:
获取单元,用于获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,所述候选框的形状包括矩形。
本发明提供了一种机器人识别环境的方法,包括:采集外界环境的待测图像信息;将待测图像信息输入至预先训练的基于区域候选的卷积神经网络模型;获取卷积神经网络模型输出的与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息;基于每一个候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划。实验证明,本发明提供的一种机器人识别环境的方法利用基于区域候选的卷积神经网络模型提高了机器人对环境的识别准确度。综上所述,本发明提供的一种机器人识别环境的方法解决了如何提高机器人对环境的识别准确度的技术问题。本发明提供的一种机器人识别环境的***也解决了相应的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种机器人识别环境的方法的流程图;
图2为本发明实施例提供的一种机器人识别环境的方法中预先训练基于区域候选的卷积神经网络模型的流程图;
图3为实际应用中本发明提供的一种机器人识别环境的方法中机器人处理信息的流程图;
图4为实际应用中本发明提供的一种机器人识别环境的方法的实现流程图;
图5为本发明实施例提供的一种机器人识别环境的***的结构示意图;
图6为实际应用中可以实现本发明提供的一种机器人识别环境的***的连接示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例提供的一种机器人识别环境的方法的流程图。
本发明实施例提供的一种机器人识别环境的方法中各个步骤的动作执行主体可以为对应的机器人识别环境的***,而该***可以设置在机器人内,因此本发明所提供的一种机器人识别环境的方法中各个步骤的动作执行主体也可以为机器人,本发明在这里不做具体限定。为了描述方便,这里将各个动作的执行主体设定为机器人。
本发明实施例提供的一种机器人识别环境的方法可以包括以下步骤:
步骤S101:采集外界环境的待测图像信息。
实际应用中,机器人一般根据周边环境的图像信息识别环境中的识别对象,所以需要先采集外界环境的待测图像信息。机器人可以通过自身安装的摄像头采集外界环境的待测图像信息,也可以通过雷达采集外界环境的待测图像信息,当然还可以有其他采集外界环境的待测图像信息的方法,本发明在这里不做具体限定。识别对象是指机器人所要识别的对象,比如在有顾客、桌椅的餐厅中,机器人所要识别的识别对象可以是顾客和桌椅。
步骤S102:将待测图像信息输入至预先训练的基于区域候选的卷积神经网络模型。
机器人在采集到外界环境的待测图像信息后,便可以将待测图像信息输入至预先训练的基于区域候选的卷积神经网络模型。
步骤S103:获取卷积神经网络模型输出的与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息。
卷积神经网络模型得到待测图像信息后,便可以对待测图像信息进行处理,输出与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息。机器人在卷积神经网络模型得到每一个候选框的坐标值信息后,便可以获取卷积神经网络模型输出的每一个候选框的坐标值信息。实际应用中,卷积神经网络模型在输出每一个候选框的坐标值信息后,可以向机器人发送获取每一个候选框的坐标值信息的提示消息,机器人接收到提示消息后便从卷积神经网络模型获取每一个候选框的坐标值信息,这样可以缩短机器人获取每一个候选区的坐标值信息的时间,从而提高机器人识别环境的效率。这里所说的每一个候选框的坐标值信息可以用来确定对应的候选框的位置及形状。
步骤S104:基于每一个候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划。
由于候选框包含识别对象,所以机器人得到每一个候选框的坐标值信息便得到了该候选框包含的识别对象的坐标信息,也即机器人得到了每一个识别对象的位置信息,因此机器人在得到每一个候选框的坐标值信息后,便可以基于每一个候选框的坐标值信息进行到达或者避开该候选框包含的识别对象的路径规划。实际应用中,不同的应用场景下,根据建立的坐标系模型的不同,机器人在进行路径规划时还可能需要得知自身的坐标信息,即自身的位置信息,比如在以机器人为坐标系原点建立的坐标系模型的情况下,机器人获得每一个候选框的坐标信息便表示机器人获得了每一个候选框与自身之间的位置信息,而在不是以机器人为坐标系原点建立的坐标系模型的情况下,每一个候选框的坐标值信息不能表示每一个候选框与机器人之间的位置关系,这时机器人需要采集自身的坐标值信息,利用自身的坐标值信息与每一个候选框的坐标值信息得到自身与每一个候选框之间的位置关系。
本发明提供了一种机器人识别环境的方法,包括:采集外界环境的待测图像信息;将待测图像信息输入至预先训练的基于区域候选的卷积神经网络模型;获取卷积神经网络模型输出的与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息;基于每一个候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划。实验证明,本发明提供的一种机器人识别环境的方法利用基于区域候选的卷积神经网络模型提高了机器人对环境的识别准确度。综上所述,本发明提供的一种机器人识别环境的方法解决了如何提高机器人对环境的识别准确度的技术问题。
请参阅图2,图2为本发明实施例提供的一种机器人识别环境的方法中预先训练基于区域候选的卷积神经网络模型的流程图
本发明实施例提供的一种机器人识别环境的方法中,预先训练基于区域候选的卷积神经网络模型,可以包括以下步骤:
步骤S201:按照预先设定的参数创建基于区域候选的卷积神经网络模型为当前卷积神经网络模型。
实际应用中,机器人预先训练基于区域候选的卷积神经网络模型前,需要先按照预先设定的用于创建基于区域候选的卷积神经网络模型的参数创建基于区域候选的卷积神经网络模型为当前卷积神经网络模型,这里的当前卷积神经网络模型只是表示该卷积神经网络模型是当前步骤的执行对象,利用参数创建基于区域候选的卷积神经网络模型的过程与现有技术中对应技术方案一致,在此不再赘述。
步骤S202:获取预设量的训练图像信息,并将训练图像信息输入至当前卷积神经网络模型。
待卷积神经网络模型创建后,机器人便可以获取预设量的训练图像信息,然后将训练图像信息输入至当前卷积神经网络模型。这里的训练图像信息是机器人预先训练基于区域候选的卷积神经网络模型时用到的图像信息,而待测图像信息是机器人应用预先训练完成的基于区域候选的卷积神经网络模型时用到的图像信息。训练图像信息可以是机器人按照操作人员预先设定的预设量从外界环境采集的,也可以是操作人员按照预先设定的预设量输入给机器人的。
步骤S203:获取当前卷积神经网络模型输出的与训练图像信息中每一个测试对象对应的包含该测试对象的每一个候选框包含该测试对象的概率值。
当前卷积神经网络模型接收到训练图像信息后便可以对训练图像信息进行处理,得到与训练图像信息中每一个测试对象对应的包含该测试对象的每一个候选框包含该测试对象的概率值,之后,机器人便可以从当前卷积神经网络模型获取每一个候选框对应的概率值。
步骤S204:判断每一个候选框对应的概率值是否均大于预先设定的阈值,若是,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型;若否,则调整当前卷积神经网络模型中的参数得到对应的卷积神经网络模型为当前卷积神经网络模型,执行将训练图像信息输入至当前卷积神经网络模型的步骤,直到每一个候选框对应的概率值均大于预先设定的阈值,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型。
机器人在获取到每一个候选框对应的概率值后,便可以判断每一个候选框对应的概率值是否大于预先设定的阈值,若是,则可以确定当前卷积神经网络模型为训练完成的卷积神经网络模型;若否,则可以调整当前卷积神经网络模型中的参数得到对应的卷积神经网络模型为当前卷积神经网络模型,返回执行步骤S202中将训练图像信息输入至当前卷积神经网络模型的步骤,直到每一个候选框对应的概率值均大于预先设定的阈值,这时便可确定当前卷积神经网络模型为训练完成的卷积神经网络模型。之后,便可以应用训练完成的卷积神经网络模型对待测图像信息进行处理。这里所说的候选框包含测试对象的概率值表示该候选框包含的测试对象的面积占整个候选框的比例大小,所以每一个候选框对应的概率值大于预先设定的阈值便表示该候选框包含对应的测试对象的面积占整个候选框的比例达到了预先设定的要求,这时便可以认为该候选框包含了整个测试对象,每一个候选框对应的概率值小于或等于预先设定的阈值便表示该候选框包含对应的测试对象的面积占整个候选框的比例未达到预先设定的要求。
实际应用中,可以通过调整预先设定的阈值来使机器人具有不同的识别精度,预先设定的阈值越大,机器人最后的识别精度越高,机器人的识别精度越高,机器人的适用范围就更广。综上所述,本发明提供的一种机器人识别环境的方法还可以扩大机器人的适用范围。
实际应用中,基于区域候选的卷积神经网络模型可以包括卷积层、区域候选框生成网络和全连接网络。卷积层将输入至卷积神经网络模型的图片与自身的权值参数进行卷积运算得到图片的特征图;区域候选框生成网络可以生成用于包含图片中识别对象的候选框;全连接网络可以将特征图和候选框进行全连接运算得到候选框的坐标值信息和候选框包含识别对象的概率值。候选框的坐标值信息和候选框的概率值的作用请参阅上述对应部分的描述,这里不再赘述。实际应用中,区域候选框生成网络可以将特征图进行卷积逆运算生成包含图片中识别对象的候选框,这时,训练基于区域候选的卷积神经网络模型时所说的参数即为权值参数;区域候选框生成网络还可以通过其他算法对特征图进行运算生成包含图片中识别对象的候选框,这时,训练基于区域候选的卷积神经网络模型时所说的参数包括权值参数和其他算法。
本发明实施例提供的一种机器人识别环境的方法中,采集外界环境的待测图像信息之后,将待测图像信息输入至基于区域候选的卷积神经网络模型之前,还可以包括:
对待测图像信息进行归一化和图像增强处理。
实际应用中,机器人在采集外界环境的待测图像信息之后,可以先对待测图像信息进行归一化和图像增强的预处理。
归一化可以缩小待测图像信息的像素,简化对像素的计算过程,使得对待测图像信息的像素的处理过程更加方便;图像增强可以使待测图像信息产生更多的图像数据,实际应用中,可以采用图像旋转、改变图像的光照和亮度等图像增强方法。对待测图像信息进行归一化和图像增强处理有助于基于区域候选的卷积神经网络模型对待测图像信息的处理,以及提高基于区域候选的卷积神经网络模型的泛化能力,这里的泛化能力指的是基于区域候选的卷积神经网络模型对待测图像信息的适应能力。在训练基于区域候选的卷积神经网络模型时,也可以先对训练图像信息进行归一化和图像增强处理,这样有助于提高训练基于区域候选的卷积神经网络模型的训练速度。
本发明实施例提供的一种机器人识别环境的方法中,获取卷积神经网络模型输出的与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,可以包括:
获取卷积神经网络模型输出的与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,候选框的形状可以包括矩形。
实际应用中,机器人可以选择输出不同形状的候选框,比如三角形候选框、矩形候选框等,本发明在这里不做具体限定。优选的,本发明选择输出矩形候选框,因为矩形候选框实现起来较为容易,而且机器人在获取每一个矩形候选框的坐标值信息时,只需获得每一个矩形候选框的最小坐标值和最大坐标值即可确定每一个矩形候选框的形状和位置信息,缩短机器人进行路径规划的时间,进而提高机器人识别环境的效率。比如,假设矩形候选框的四个顶点分别为顶点A、顶点B、顶点C和顶点D,四个顶点构成矩形候选框,其中,顶点A的坐标值最小,顶点C的坐标值最大,则矩形候选框的最小坐标值即为顶点A的坐标值,矩形候选框的最大坐标值即为顶点C的坐标值,机器人得到矩形候选框的最小坐标值和最大坐标值后便可得到矩形候选框的最小坐标点和最大坐标点,进而机器人便可以根据候选框的最小坐标点、最大坐标点和坐标系确定该矩形候选框的形状和位置信息,机器人利用矩形候选框的最小坐标点、最大坐标点和坐标系确定矩形候选框的形状和位置信息的原理与现有技术中应用矩形的最小坐标点、最大坐标点和坐标系确定矩形的形状和位置信息的原理相同,这里不再赘述。
请参阅图3和图4,图3为实际应用中本发明提供的一种机器人识别环境的方法中机器人处理信息的流程图;图4为实际应用中本发明提供的一种机器人识别环境的方法的实现流程图。实际应用中,可以将本发明提供的一种机器人识别环境的方法中基于区域候选的卷积神经网络模型内置于机器人自身的服务器和显卡GTX1070上,当然也可以有其他种类的显卡,本发明在这里不做具体限定。服务器和显卡GTX1070可以通过无线通讯接收机器人采集的机器人自身的位置信息以及预处理后的待测图像信息,然后对机器人自身的位置信息和预处理后的待测图像信息进行识别,并将识别结果,即待测图像信息中每一个候选框的坐标值信息和机器人的位置信息,通过无线通讯的方式发送给机器人中央处理器,以便机器人中央处理器根据识别结果进行决策。实际应用中,服务器和显卡GTX1070可以应用在服务机器人中。在服务机器人识别环境时,操作人员可以先设置服务机器人的ID、优先级等信息,以便启动服务机器人,然后服务机器人可以通过摄像头观察当前环境信息,并将当前环境信息发送给服务器和显卡GTX1070,服务器和显卡GTX1070对当前环境信息进行识别后将识别后的环境信息返回给服务机器人,服务机器人根据识别后的环境信息做出路径规划,之后自身的电机便可根据做出的路径规划控制服务机器人进行相应的运动,服务机器人可以通过判断运动是否完成来判断是否结束工作,若运动完成,则服务机器人结束工作,若运动未完成,则服务机器人执行通过摄像头观察当前环境信息的步骤,直到服务器机器人结束工作。
本发明还提供了一种机器人识别环境的***,其具有本发明提供的一种机器人识别环境的方法具有的对应效果。请参阅图5,图5为本发明实施例提供的一种机器人识别环境的***的结构示意图。
本发明实施例提供的一种机器人识别环境的***可以包括:
采集模块A1,用于采集外界环境的待测图像信息;
输入模块A2,用于将待测图像信息输入至训练模块预先训练的基于区域候选的卷积神经网络模型;
获取模块A3,用于获取卷积神经网络模型输出的与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息;
规划模块A4,用于基于每一个候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划。
本发明实施例提供的一种机器人识别环境的***中,还可以包括:
训练模块,用于:按照预先设定的参数创建基于区域候选的卷积神经网络模型为当前卷积神经网络模型;获取预设量的训练图像信息,并将训练图像信息输入至当前卷积神经网络模型;获取当前卷积神经网络模型输出的与训练图像信息中每一个测试对象对应的包含该测试对象的每一个候选框包含该测试对象的概率值;判断每一个候选框对应的概率值是否均大于预先设定的阈值,若是,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型;若否,则调整当前卷积神经网络模型中的参数得到对应的卷积神经网络模型为当前卷积神经网络模型,执行将训练图像信息输入至当前卷积神经网络模型的步骤,直到每一个候选框对应的概率值均大于预先设定的阈值,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型。
本发明实施例提供的一种机器人识别环境的***中,还可以包括:
预处理模块,用于在采集模块采集外界环境的待测图像信息之后,输入模块将待测图像信息输入至训练模块预先训练的基于区域候选的卷积神经网络模型之前,对待测图像信息进行归一化和图像增强处理。
本发明实施例提供的一种机器人识别环境的***中,获取模块可以包括:
获取单元,用于获取卷积神经网络模型输出的与待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,候选框的形状可以包括矩形。
请参阅图6,图6为实际应用中可以实现本发明提供的一种机器人识别环境的***的连接示意图。实际应用中,应用本发明提供的一种机器人识别环境的***可以由硬件和软件组成,其中硬件可以包括景物和距离传感器、视频信号数字化设备、计算机/处理器、机器人/机器设备;软件可以包括计算机软件、视觉处理算法、机器人控制算法。其中,景物和距离传感器可以扫描周边景物并得到周边景物与机器人的距离信息,计算机/处理器可以对机器人接收的数据进行处理,机器人/机器设备可以控制机器人进行前进等运动,计算机软件可以为计算机/处理器提供数据处理所需的软件,机器人控制算法可以为机器人/机器设备控制机器人运动提供所需的算法,视觉处理算法为基于区域候选的卷积神经网络算法。
本发明实施例提供的一种机器人识别环境的***中相关部分的说明请参见本发明实施例提供的一种机器人识别环境的方法中对应部分的详细说明,在此不再赘述。另外,本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种机器人识别环境的方法,其特征在于,包括:
采集外界环境的待测图像信息;
将所述待测图像信息输入至预先训练的基于区域候选的卷积神经网络模型;
获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息;
基于每一个所述候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划;
所述预先训练基于区域候选的卷积神经网络模型,包括:
按照预先设定的参数创建基于区域候选的卷积神经网络模型为当前卷积神经网络模型;
获取预设量的训练图像信息,并将所述训练图像信息输入至当前卷积神经网络模型;
获取当前卷积神经网络模型输出的与所述训练图像信息中每一个测试对象对应的包含该测试对象的每一个候选框包含该测试对象的概率值;
判断每一个所述候选框对应的概率值是否均大于预先设定的阈值,若是,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型;若否,则调整当前卷积神经网络模型中的参数得到对应的卷积神经网络模型为当前卷积神经网络模型,执行所述将所述训练图像信息输入至当前卷积神经网络模型的步骤,直到每一个候选框对应的概率值均大于预先设定的阈值,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型;
所述采集外界环境的待测图像信息之后,所述将所述待测图像信息输入至基于区域候选的卷积神经网络模型之前,还包括:
对所述待测图像信息进行归一化和图像增强处理;
获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,包括:
接收所述卷积神经网络模型发送的提示信息,并从所述卷积神经网络模型中获取每一个候选框的坐标值信息;其中,所述提示信息为所述卷积神经网络在输出每一个候选框的坐标值信息后发送的获取每一个候选框的坐标值信息的提示信息。
2.根据权利要求1所述的方法,其特征在于,所述获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,包括:
获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,所述候选框的形状包括矩形。
3.一种机器人识别环境的***,其特征在于,包括:
采集模块,用于采集外界环境的待测图像信息;
输入模块,用于将所述待测图像信息输入至预先训练的基于区域候选的卷积神经网络模型;
获取模块,用于获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息;
规划模块,用于基于每一个所述候选框的坐标值信息进行到达或避开该候选框包含的识别对象的路径规划;
所述***还包括:
训练模块,用于:按照预先设定的参数创建基于区域候选的卷积神经网络模型为当前卷积神经网络模型;获取预设量的训练图像信息,并将所述训练图像信息输入至当前卷积神经网络模型;获取当前卷积神经网络模型输出的与所述训练图像信息中每一个测试对象对应的包含该测试对象的每一个候选框包含该测试对象的概率值;判断每一个所述候选框对应的概率值是否均大于预先设定的阈值,若是,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型;若否,则调整当前卷积神经网络模型中的参数得到对应的卷积神经网络模型为当前卷积神经网络模型,执行所述将所述训练图像信息输入至当前卷积神经网络模型的步骤,直到每一个所述候选框对应的概率值均大于预先设定的阈值,则确定当前卷积神经网络模型为训练完成的卷积神经网络模型;
所述***还包括:
预处理模块,用于在所述采集模块采集外界环境的待测图像信息之后,所述输入模块将所述待测图像信息输入至训练模块预先训练的基于区域候选的卷积神经网络模型之前,对所述待测图像信息进行归一化和图像增强处理;
所述获取模块获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,包括:
接收所述卷积神经网络模型发送的提示信息,并从所述卷积神经网络模型中获取每一个候选框的坐标值信息;其中,所述提示信息为所述卷积神经网络在输出每一个候选框的坐标值信息后发送的获取每一个候选框的坐标值信息的提示信息。
4.根据权利要求3所述的***,其特征在于,所述获取模块包括:
获取单元,用于获取所述卷积神经网络模型输出的与所述待测图像信息中每一个识别对象对应的包含该识别对象的每一个候选框的坐标值信息,所述候选框的形状包括矩形。
CN201710756377.3A 2017-08-29 2017-08-29 一种机器人识别环境的方法及*** Expired - Fee Related CN107562050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710756377.3A CN107562050B (zh) 2017-08-29 2017-08-29 一种机器人识别环境的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710756377.3A CN107562050B (zh) 2017-08-29 2017-08-29 一种机器人识别环境的方法及***

Publications (2)

Publication Number Publication Date
CN107562050A CN107562050A (zh) 2018-01-09
CN107562050B true CN107562050B (zh) 2021-03-16

Family

ID=60977389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710756377.3A Expired - Fee Related CN107562050B (zh) 2017-08-29 2017-08-29 一种机器人识别环境的方法及***

Country Status (1)

Country Link
CN (1) CN107562050B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7154823B2 (ja) * 2018-05-28 2022-10-18 キヤノン株式会社 情報処理装置、ロボット制御装置、情報処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN106162144A (zh) * 2016-07-21 2016-11-23 触景无限科技(北京)有限公司 一种用于夜视环境的视觉图像处理设备、***和智能机器
CN106780612A (zh) * 2016-12-29 2017-05-31 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106886795A (zh) * 2017-02-17 2017-06-23 北京维弦科技有限责任公司 基于图像中的显著物体的物体识别方法
WO2017139927A1 (en) * 2016-02-17 2017-08-24 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
WO2017139927A1 (en) * 2016-02-17 2017-08-24 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
CN106162144A (zh) * 2016-07-21 2016-11-23 触景无限科技(北京)有限公司 一种用于夜视环境的视觉图像处理设备、***和智能机器
CN106780612A (zh) * 2016-12-29 2017-05-31 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106886795A (zh) * 2017-02-17 2017-06-23 北京维弦科技有限责任公司 基于图像中的显著物体的物体识别方法

Also Published As

Publication number Publication date
CN107562050A (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
US10373244B2 (en) System and method for virtual clothes fitting based on video augmented reality in mobile phone
JP2020042816A (ja) 物体検出方法、装置、機器、記憶媒体及び車両
JP5538160B2 (ja) 瞳孔検出装置及び瞳孔検出方法
CN111062239A (zh) 人体目标检测方法、装置、计算机设备及存储介质
JP2021504848A (ja) 画像処理システム及び画像処理方法
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN113052907B (zh) 一种动态环境移动机器人的定位方法
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
WO2018103024A1 (zh) 智能导盲方法和装置
CN108875506B (zh) 人脸形状点跟踪方法、装置和***及存储介质
CN111770450B (zh) 一种车间生产监控服务器、移动终端及应用
US20200250431A1 (en) Method and device for recognizing states of electrical devices
JP2012226645A (ja) 画像処理装置および方法、記録媒体並びにプログラム
CN114608521B (zh) 单目测距方法及装置、电子设备和存储介质
CN115205470A (zh) 续扫重定位方法、装置、设备、存储介质及三维续扫方法
CN107562050B (zh) 一种机器人识别环境的方法及***
CN109313708B (zh) 图像匹配方法和视觉***
CN113567550A (zh) 地面材质检测方法、装置、电子设备、芯片和存储介质
US20230089616A1 (en) Monocular camera activation for localization based on data from depth sensor
CN112925416A (zh) 用户视线跟踪方法、装置及***
US9398208B2 (en) Imaging apparatus and imaging condition setting method and program
KR20210018114A (ko) 교차 도메인 메트릭 학습 시스템 및 방법
CN115409951B (zh) 图像处理方法、装置、电子设备及存储介质
CN113569594A (zh) 一种人脸关键点的标注方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210316

Termination date: 20210829