CN109358628A - 一种货箱对位方法及机器人 - Google Patents
一种货箱对位方法及机器人 Download PDFInfo
- Publication number
- CN109358628A CN109358628A CN201811314709.3A CN201811314709A CN109358628A CN 109358628 A CN109358628 A CN 109358628A CN 201811314709 A CN201811314709 A CN 201811314709A CN 109358628 A CN109358628 A CN 109358628A
- Authority
- CN
- China
- Prior art keywords
- container
- key point
- image pattern
- camera
- container image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 230000001629 suppression Effects 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000002401 inhibitory effect Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 4
- 239000002390 adhesive tape Substances 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003298 dental enamel Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种货箱对位方法及机器人,其方法包括:构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点;训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归;利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置;根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。本发明不仅克服了红外对位或者标签对位进行货箱对位所存在的缺陷,还提高了货箱对位的准确度。
Description
技术领域
本发明涉及机器人技术领域,尤指一种货箱对位方法及机器人。
背景技术
近年来,随着机器人技术的发展和人工智能研究不断深入,智能机器人在人类生活中扮演越来越重要的角色,在诸多领域得到广泛应用。
机器人在进行自动装卸货的过程中,需要对货箱进行精准的对位。目前,一般采用红外对位或者标签对位,红外对位需要使用红外收发装置,容易出现不稳定的情况;标签对位需要在货箱上粘贴标签显得太突兀。因此,本领域亟需实现一种新的货箱对位方法。
发明内容
本发明的目的是提供一种货箱对位方法及机器人,不仅克服了红外对位或者标签对位进行货箱对位所存在的缺陷,还提高了货箱对位的准确度。
本发明提供的技术方案如下:
本发明提供一种货箱对位方法,包括步骤:构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点;
训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归;
利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置;
根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
优选的,在所述的训练检测货箱图像样本并回归货箱关键点的算法模型之后还包括步骤:
检测货箱图像样本的全局货箱关键点;
根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
进一步优选的,所述检测货箱图像的全局货箱关键点具体包括步骤:
构建一个具有货箱图像样本中货箱关键点的数据集,使用所述货箱关键点来训练检测器;
对未被标记的货箱图像样本进行单应变换,使用训练后的检测器来检测变换后的货箱图像样本,进而在货箱图像样本中标记货箱关键点;
结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络,得到关键点检测器;利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
进一步优选的,所述的在训练算法模型时进行货箱图像样本检测与货箱关键点回归具体包括步骤:
生成货箱图像样本的候选窗和边框回归向量,使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
从抑制合并重叠后的候选框中,拒绝掉假的候选框后;再次使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
根据再次使用非极大值抑制合并重叠后的候选框,输出所述货箱图像样本和多个货箱关键点,以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
进一步优选的,所述的根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置具体包括步骤:
选取世界坐标下的四个回归后的货箱关键点坐标,通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系,计算得到所述货箱关键点的相机平面坐标;
根据所述货箱关键点的相机平面坐标,求出相机的相机位置;
其中,所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点;所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
本发明还通过一种机器人,包括:关键点标记模块,用于构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点;
算法训练模块,用于训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归;
相机位置计算模块,用于利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置;
对位导航模块,用于根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
优选的,还包括:关键点检测模块,用于检测货箱图像样本的全局货箱关键点;
位置优化模块,用于根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
关键点更替模块,用于根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
优选的,还包括:关键点训练模块,用于构建一个具有货箱图像样本中货箱关键点的数据集,使用所述货箱关键点来训练检测器;
图像检测模块,用于对未被标记的货箱图像样本进行单应变换,使用训练后的检测器来检测变换后的货箱图像样本,进而在货箱图像样本中标记货箱关键点;
检测生成模块,用于结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络,得到关键点检测器;利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
优选的,还包括:候选框训练模块,用于生成货箱图像样本的候选窗和边框回归向量,使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
候选框筛选模块,用于从抑制合并重叠后的候选框中,拒绝掉假的候选框后;再次使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
关键点输出模块,用于根据再次使用非极大值抑制合并重叠后的候选框,输出所述货箱图像样本和多个货箱关键点,以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
优选的,还包括:
关键点位置计算模块,用于选取世界坐标下的四个回归后的货箱关键点坐标,通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系,计算得到所述货箱关键点的相机平面坐标;
所述相机位置计算模块,用于根据所述货箱关键点的相机平面坐标,求出相机的相机位置;
其中,所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点;所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
通过本发明提供的一种货箱对位方法及机器人,能够带来以下至少一种有益效果:
1、本发明利用货箱图像样本训练算法模型,再利用训练好的算法模型计算出货箱关键点位置,再根据货箱关键点位置计算出相机位置,最后根据相对位置进行货箱对位导航,不仅提高了货箱对位的准确度;还克服了红外对位或者标签对位进行货箱对位所存在的缺陷。
2、本发明利用货箱图像样本的全局货箱关键点对回归的货箱关键点的货箱关键点位置进行优化;从而对算法模型进行优化;进而提高货箱对位的准确度。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种货箱对位方法及机器人的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明货箱对位方法的一个实施例的流程图;
图2是本发明货箱对位方法的另一个实施例的流程图;
图3是本发明货箱对位方法的又一个实施例的流程图;
图4是本发明货箱对位方法的再一个实施例的流程图;
图5是本发明货箱对位方法的另一个实施例的流程图;
图6是本发明机器人的一个实施例的结构示意图。
附图标号说明:
10—关键点标记模块 20—算法训练模块
21—候选框训练模块 22—候选框筛选模块
23—关键点输出模块 30—关键点检测模块
301—关键点训练模块 302—图像检测模块
303—检测生成模块 31—位置优化模块
32—关键点更替模块 41—关键点位置计算模块
42—相机位置计算模块 50—对位导航模块
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
根据本发明提供的一种实施例,如图1所示,一种沿线导航的方法,包括:
S10、构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
具体的,在构建货箱图像样本库之后,会将货箱图像样本库分成货箱图像样本训练集、货箱图像样本验证集、货箱图像样本测试集。其货箱图像样本训练集占货箱图像样本库的70%~80%,即货箱图像样本库中有一万张货箱图像样本,货箱图像样本训练集中有七千~八千张货箱图像样本。
其中,货箱图像样本训练集是用于训练算法模型,货箱图像样本验证集是用于验证算法模型,货箱图像样本测试集用于训练算法模型;算法模型的验证步骤不是必须的,可以对算法模型进行验证,也可以不对算法模型进行验证。
S20、训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归。
具体的,在货箱检测面上用彩色胶带贴成四个角,每个角的两个角边上彩色胶带的色彩形成鲜明对比,且相邻两个角位于同一侧上的两个角边上彩色胶带的颜色不同;
例如,第一个角是用红色胶带和绿色胶带组成,第二个角是用绿色胶带和粉红色胶带组成,第三个角是用红色胶带和黄色胶带组成,第四个角是用粉红色胶带和黄色胶带组成;四个角可以形成矩形的四个角。
货箱关键点可以是四个角的顶点,货箱关键点还可以彩色胶带上其他点。在货箱图像样本训练集中货箱图像样本标记有四个货箱关键点后,利用标记有四个货箱关键点的货箱图像样本训练算法模型。
S40、利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置。
具体的,在算法模型训练完成后,利用训练后的算法模型对相机获取到的货箱图像进行检测,并在货箱图像上回归货箱关键点。
在货箱图像上显示彩色胶带的关键点时,可以根据彩色胶带的关键点位置和相机的内参,计算出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
具体的,在求出货箱关键点位置、相机位置后,可以根据两个位置的相对位置,对货箱进行导航;例如相对位置为2m时,控制机器人移动2m;当相对位置为0m时,该机器人到达位置准确,无需控制机器人移动。
本实施例中,在货箱检测面上贴有颜色鲜明的彩色胶带,方便快速检测出货箱关键点;首先构建图像样本库,对算法模型进行训练;再利用训练后的算法模型准确预测出货箱关键点。本发明利用图像对货箱对位进行导航;摒弃了传统的红外技术、标签技术进行货箱对位;克服了红外技术、标签技术进行货箱对位时所存在的缺陷;还提高了货箱对位的准确度。
根据本发明提供的另一种实施例,如图2所示,一种沿线导航的方法,包括:
S10、构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
S20、训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归。
S30、检测货箱图像样本的全局货箱关键点;
S31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
S32、根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
S40、利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
本实施例中,在货箱检测面上用彩色胶带贴有四个角,彩色胶带形成的四个角顶点之间的固定距离是已知、固定不变的。在标记出各个角顶点的货箱关键点作为全局货箱关键点。
利用货箱图像样本上预测的货箱关键点和标记的全局货箱关键点,对货箱图像样本上预测的货箱关键点进行位置优化。
对货箱图像样本上选择距离标记的全局关键点最近的预测的货箱关键点更替预测的货箱关键点。
根据本发明提供的再一种实施例,如图3所示,一种沿线导航的方法,包括:
S10、构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
S20、训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归。
S301、构建一个具有货箱图像样本中货箱关键点的数据集,使用所述货箱关键点来训练检测器;
S302、对未被标记的货箱图像样本进行单应变换,使用训练后的检测器来检测变换后的货箱图像样本,进而在货箱图像样本中标记货箱关键点;
S303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络,得到关键点检测器;利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
S31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
S32、根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
S40、利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
本实施例中,首先构建一个合成图像数据库,在这些图片里关键点包括四个角顶点,小椭圆中心和直线段端点,通过缩放,单应变换扩充训练样本。这些样本可以认为是真实世界中关键点的子集,这种设计其实是非常巧妙的方法,避免了繁重的人工标注过程。
把输入的未打标签的图像,进行随机的单应变换,然后使用上面的特征点检测器来分别对变换后的图像进行检测,最后把每张图检测到的特征点还原到原图中,那么就尽可能多的实现原图中关键点的检测。
根据本发明提供的又一种实施例,如图4所示,一种沿线导航的方法,包括:
S10、构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
S21、生成货箱图像样本的候选窗和边框回归向量,使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
S22、从抑制合并重叠后的候选框中,拒绝掉假的候选框后;再次使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
S23、根据再次使用非极大值抑制合并重叠后的候选框,输出所述货箱图像样本和多个货箱关键点,以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
S30、检测货箱图像样本的全局货箱关键点;
S31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
S32、根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
S40、利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
本实施例中,优选的,步骤S30具体包括:S301、构建一个具有货箱图像样本中货箱关键点的数据集,使用所述货箱关键点来训练检测器;
S302、对未被标记的货箱图像样本进行单应变换,使用训练后的检测器来检测变换后的货箱图像样本,进而在货箱图像样本中标记货箱关键点;
S303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络,得到关键点检测器;利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
首先,主要是算法模型的训练,算法模型主要有货箱分类、边框回归、货箱关键点定位。
其中,货箱分类是指货箱与非货箱,对于每一个货箱图像样本采用交叉熵损失函数:
其pi表示货箱的概率,
其次,对于每一个候选框,需要预测它和真实坐标的偏移,对于每一个货箱图像样本xi通过欧式距离进行回归:
候选框,主要由最左顶点坐标、长、宽组成,每一个box是一个4维向量。
再者,货箱关键点坐标,与候选框回归类似,还是计算候选特征坐标和真实坐标的位置的欧式距离,并最小化此距离。
四个货箱关键点坐标,包括彩色胶带形成鲜明对比的四个角点,每个坐标均有横纵两个坐标,所以每一个landmark是一个8维德向量。
根据本发明提供的另一种实施例,如图5所示,一种沿线导航的方法,包括:
S10、构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
S20、训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归。
S30、检测货箱图像样本的全局货箱关键点;
S31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
S32、根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
S41、选取世界坐标下的四个回归后的货箱关键点坐标,通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系,计算得到所述货箱关键点的相机平面坐标;
S42、根据所述货箱关键点的相机平面坐标,求出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
其中,所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点;所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
本实施例中,优选的,步骤S20具体包括:S21、生成货箱图像样本的候选窗和边框回归向量,使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
S22、从抑制合并重叠后的候选框中,拒绝掉假的候选框后;再次使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
S23、根据再次使用非极大值抑制合并重叠后的候选框,输出所述货箱图像样本和多个货箱关键点,以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
优选的,步骤S30具体包括:S301、构建一个具有货箱图像样本中货箱关键点的数据集,使用所述货箱关键点来训练检测器;
S302、对未被标记的货箱图像样本进行单应变换,使用训练后的检测器来检测变换后的货箱图像样本,进而在货箱图像样本中标记货箱关键点;
S303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络,得到关键点检测器;利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
本实施例中,为了更快更节省计算机资源地解决问题,先用3个点计算出4组解获得四个旋转矩阵、平移矩阵。
将第四个点的世界坐标代入公式,获得其在货箱图像中的四个投影(一个解对应一个投影),取出其中投影误差最小的那个解,就是我们所需要的正解。
从世界坐标系到相机坐标系的转换,需要矩阵[R|t],其中R是旋转矩阵,t是位移向量。如果世界坐标系为X,相机坐标系对应坐标为X',那么X'=
[R|t]*X。从相机坐标系到理想屏幕坐标系的变换就需要内参数矩阵C。那么理想屏幕坐标系L=C*[R|t]*X。
如何获得[R|t],几个关键点在世界坐标系的坐标即X已知,然后在摄像头捕获的帧里获得对应点在屏幕坐标系的坐标即L已知,通过求解线性方程组得到[R|t]的初值,再利用非线性最小二乘法迭代求得最优变换矩阵[R|t],这属于迭代法计算。
根据本发明提供的一种实施例,如图6所示,一种机器人,包括:
关键点标记模块10,用于构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点;
算法训练模块20,用于训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归;
相机位置计算模块42,用于利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置;
对位导航模块50,用于根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
基于上述实施例,本实施例中,还包括:关键点检测模块30,用于检测货箱图像样本的全局货箱关键点;
位置优化模块31,用于根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
关键点更替模块32,用于根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
基于上述实施例,本实施例中,还包括:关键点训练模块301,用于构建一个具有货箱图像样本中货箱关键点的数据集,使用所述货箱关键点来训练检测器;
图像检测模块302,用于对未被标记的货箱图像样本进行单应变换,使用训练后的检测器来检测变换后的货箱图像样本,进而在货箱图像样本中标记货箱关键点;
检测生成模块303,用于结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络,得到关键点检测器;利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
基于上述实施例,本实施例中,还包括:候选框训练模块21,用于生成货箱图像样本的候选窗和边框回归向量,使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
候选框筛选模块22,用于从抑制合并重叠后的候选框中,拒绝掉假的候选框后;再次使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
关键点输出模块23,用于根据再次使用非极大值抑制合并重叠后的候选框,输出所述货箱图像样本和多个货箱关键点,以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
基于上述实施例,本实施例中,还包括:
关键点位置计算模块41,用于选取世界坐标下的四个回归后的货箱关键点坐标,通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系,计算得到所述货箱关键点的相机平面坐标;
所述相机位置计算模块42,用于根据所述货箱关键点的相机平面坐标,求出相机的相机位置;
其中,所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点;所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
本实施例中,相应的解释说明可以参照方法,此处不再赘述。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种货箱对位方法,其特征在于,包括步骤:
构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点;
训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归;
利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置;
根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
2.根据权利要求1所述的货箱对位方法,其特征在于,在所述的训练检测货箱图像样本并回归货箱关键点的算法模型之后还包括步骤:
检测货箱图像样本的全局货箱关键点;
根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
3.根据权利要求2所述的货箱对位方法,其特征在于,所述检测货箱图像的全局货箱关键点具体包括步骤:
构建一个具有货箱图像样本中货箱关键点的数据集,使用所述货箱关键点来训练检测器;
对未被标记的货箱图像样本进行单应变换,使用训练后的检测器来检测变换后的货箱图像样本,进而在货箱图像样本中标记货箱关键点;
结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络,得到关键点检测器;利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
4.根据权利要求1-3任一项所述的货箱对位方法,其特征在于,所述的在训练算法模型时进行货箱图像样本检测与货箱关键点回归具体包括步骤:
生成货箱图像样本的候选窗和边框回归向量,使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
从抑制合并重叠后的候选框中,拒绝掉假的候选框后;再次使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
根据再次使用非极大值抑制合并重叠后的候选框,输出所述货箱图像样本和多个货箱关键点,以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
5.根据权利要求1-3任一项所述的货箱对位方法,其特征在于,所述的根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置具体包括步骤:
选取世界坐标下的四个回归后的货箱关键点坐标,通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系,计算得到所述货箱关键点的相机平面坐标;
根据所述货箱关键点的相机平面坐标,求出相机的相机位置;
其中,所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点;所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
6.一种机器人,其特征在于,包括:
关键点标记模块,用于构建货箱图像样本库,在所述货箱图像样本库中货箱图像样本上标记货箱关键点;
算法训练模块,用于训练检测货箱图像样本并回归货箱关键点的算法模型,在训练算法模型时进行货箱图像样本检测与货箱关键点回归;
相机位置计算模块,用于利用训练后的算法模型检测货箱图像并回归货箱关键点,根据回归后的货箱关键点的货箱关键点位置和相机内参,计算出相机的相机位置;
对位导航模块,用于根据所述货箱关键点位置与所述相机位置的相对位置,进行货箱对位导航。
7.根据权利要求6所述的机器人,其特征在于,还包括:
关键点检测模块,用于检测货箱图像样本的全局货箱关键点;
位置优化模块,用于根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点,对回归的货箱关键点的货箱关键点位置进行优化;
关键点更替模块,用于根据优化后的货箱关键点的货箱关键点位置,选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
8.根据权利要求7所述的机器人,其特征在于,还包括:
关键点训练模块,用于构建一个具有货箱图像样本中货箱关键点的数据集,使用所述货箱关键点来训练检测器;
图像检测模块,用于对未被标记的货箱图像样本进行单应变换,使用训练后的检测器来检测变换后的货箱图像样本,进而在货箱图像样本中标记货箱关键点;
检测生成模块,用于结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络,得到关键点检测器;利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
9.根据权利要求6-8任一项所述的机器人,其特征在于,还包括:
候选框训练模块,用于生成货箱图像样本的候选窗和边框回归向量,使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
候选框筛选模块,用于从抑制合并重叠后的候选框中,拒绝掉假的候选框后;再次使用边框回归对候选窗进行校准,使用非极大值抑制合并重叠的候选框;
关键点输出模块,用于根据再次使用非极大值抑制合并重叠后的候选框,输出所述货箱图像样本和多个货箱关键点,以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
10.根据权利要求6-8任一项所述的机器人,其特征在于,还包括:
关键点位置计算模块,用于选取世界坐标下的四个回归后的货箱关键点坐标,通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系,计算得到所述货箱关键点的相机平面坐标;
所述相机位置计算模块,用于根据所述货箱关键点的相机平面坐标,求出相机的相机位置;
其中,所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点;所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811314709.3A CN109358628A (zh) | 2018-11-06 | 2018-11-06 | 一种货箱对位方法及机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811314709.3A CN109358628A (zh) | 2018-11-06 | 2018-11-06 | 一种货箱对位方法及机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109358628A true CN109358628A (zh) | 2019-02-19 |
Family
ID=65344265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811314709.3A Pending CN109358628A (zh) | 2018-11-06 | 2018-11-06 | 一种货箱对位方法及机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109358628A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1338421A (zh) * | 2000-07-25 | 2002-03-06 | 理化学研究所 | 集装箱位置检测*** |
US6826452B1 (en) * | 2002-03-29 | 2004-11-30 | The Penn State Research Foundation | Cable array robot for material handling |
CN105956619A (zh) * | 2016-04-27 | 2016-09-21 | 浙江工业大学 | 一种集装箱锁孔粗定位和跟踪方法 |
CN106094516A (zh) * | 2016-06-08 | 2016-11-09 | 南京大学 | 一种基于深度强化学习的机器人自适应抓取方法 |
CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
CN107239790A (zh) * | 2017-05-10 | 2017-10-10 | 哈尔滨工程大学 | 一种基于深度学习的服务机器人目标检测与定位方法 |
CN107680092A (zh) * | 2017-10-12 | 2018-02-09 | 中科视拓(北京)科技有限公司 | 一种基于深度学习的集装箱锁扣检测及预警方法 |
CN107918780A (zh) * | 2017-09-01 | 2018-04-17 | 中山大学 | 一种基于关键点检测的衣服种类和属性分类方法 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
CN108229665A (zh) * | 2018-02-02 | 2018-06-29 | 上海建桥学院 | 一种以深度卷积神经网络为基础的零件分拣*** |
US10058995B1 (en) * | 2016-07-08 | 2018-08-28 | X Development Llc | Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request |
-
2018
- 2018-11-06 CN CN201811314709.3A patent/CN109358628A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1338421A (zh) * | 2000-07-25 | 2002-03-06 | 理化学研究所 | 集装箱位置检测*** |
US6826452B1 (en) * | 2002-03-29 | 2004-11-30 | The Penn State Research Foundation | Cable array robot for material handling |
CN105956619A (zh) * | 2016-04-27 | 2016-09-21 | 浙江工业大学 | 一种集装箱锁孔粗定位和跟踪方法 |
CN106094516A (zh) * | 2016-06-08 | 2016-11-09 | 南京大学 | 一种基于深度强化学习的机器人自适应抓取方法 |
US10058995B1 (en) * | 2016-07-08 | 2018-08-28 | X Development Llc | Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request |
CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
CN107239790A (zh) * | 2017-05-10 | 2017-10-10 | 哈尔滨工程大学 | 一种基于深度学习的服务机器人目标检测与定位方法 |
CN107918780A (zh) * | 2017-09-01 | 2018-04-17 | 中山大学 | 一种基于关键点检测的衣服种类和属性分类方法 |
CN107680092A (zh) * | 2017-10-12 | 2018-02-09 | 中科视拓(北京)科技有限公司 | 一种基于深度学习的集装箱锁扣检测及预警方法 |
CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人(合肥)国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
CN108229665A (zh) * | 2018-02-02 | 2018-06-29 | 上海建桥学院 | 一种以深度卷积神经网络为基础的零件分拣*** |
Non-Patent Citations (1)
Title |
---|
KAIPENG ZHANG ET AL.: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102175261B (zh) | 一种基于自适应标靶的视觉测量***及其标定方法 | |
CN106127204B (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
CN104200086B (zh) | 宽基线可见光相机位姿估计方法 | |
CN103699908B (zh) | 基于联合推理的视频多目标跟踪方法 | |
CN100526024C (zh) | 一种机器人延伸手眼标定方法 | |
CN109919934A (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
CN103488972B (zh) | 基于深度信息的指尖检测方法 | |
CN109816725A (zh) | 一种基于深度学习的单目相机物***姿估计方法及装置 | |
CN106553195A (zh) | 工业机器人抓取过程中的物体6自由度定位方法及*** | |
CN104807460A (zh) | 无人机室内定位方法及*** | |
CN104077596A (zh) | 一种无标志物跟踪注册方法 | |
CN109186606A (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
CN107063229A (zh) | 基于人工路标的移动机器人定位***及方法 | |
CN101363733A (zh) | 一种超高精度的星敏感器 | |
CN103593838B (zh) | 一种快速互相关灰度图像匹配方法与装置 | |
CN103927748B (zh) | 一种基于多矩形图像距离转换模型的坐标标定方法 | |
CN115294452B (zh) | 基于双向特征金字塔网络的旋转sar舰船目标检测方法 | |
CN114474056A (zh) | 一种面向抓取操作的单目视觉高精度目标定位方法 | |
CN102289822A (zh) | 一种多摄像机协同跟踪运动目标的方法 | |
CN106504287A (zh) | 基于模板的单目视觉目标空间定位*** | |
CN106651957A (zh) | 基于模板的单目视觉目标空间定位方法 | |
Liu et al. | MGBM-YOLO: a faster light-weight object detection model for robotic grasping of bolster spring based on image-based visual servoing | |
CN107644203A (zh) | 一种形状自适应分类的特征点检测方法 | |
Agarwal et al. | Robust pose-graph slam using absolute orientation sensing | |
CN109358628A (zh) | 一种货箱对位方法及机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190219 |