CN111160280B - 基于rgbd相机的目标物体识别与定位方法及移动机器人 - Google Patents

基于rgbd相机的目标物体识别与定位方法及移动机器人 Download PDF

Info

Publication number
CN111160280B
CN111160280B CN201911410057.8A CN201911410057A CN111160280B CN 111160280 B CN111160280 B CN 111160280B CN 201911410057 A CN201911410057 A CN 201911410057A CN 111160280 B CN111160280 B CN 111160280B
Authority
CN
China
Prior art keywords
target object
point cloud
coordinate
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911410057.8A
Other languages
English (en)
Other versions
CN111160280A (zh
Inventor
郝奇
陈智君
伍永健
曹雏清
高云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Hit Robot Technology Research Institute Co Ltd
Original Assignee
Wuhu Hit Robot Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Hit Robot Technology Research Institute Co Ltd filed Critical Wuhu Hit Robot Technology Research Institute Co Ltd
Priority to CN201911410057.8A priority Critical patent/CN111160280B/zh
Publication of CN111160280A publication Critical patent/CN111160280A/zh
Application granted granted Critical
Publication of CN111160280B publication Critical patent/CN111160280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明适用于物体识别技术领域，提供了一种基于RGBD相机的目标物体识别与定位方法及移动机器人，该方法包括：S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；S2、在RGB图像查找与模板图像差异度最低的目标区域；S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe；S5、计算重心坐标pg与形心坐标pe的差值，若该差值小于预设阈值，则判定目标物体成功识别，返回形心坐标pe。基于RGBD相机即可实现对目标物体的识别和精确定位，以进行对目标物体的下一步抓取操作。

Description

基于RGBD相机的目标物体识别与定位方法及移动机器人
技术领域
本发明属于物体识别技术领域，提供了一种基于RGBD相机的目标物体识别与定位方法及移动机器人。
背景技术
随着自主移动抓取机器人在服务和仓储物流领域有着越来越广泛的应用，其定位导航技术也越发重要。自主移动抓取机器人主要分为移动平台和机械臂，移动平台的定位导航主要使用激光或视觉SLAM，地图的分辨率比较低，定位精度不高，因此在机械臂对目标物体进行一系列操作之前，必须对目标物体进行识别和精定位。
为了解决上述问题，现有的方案主要包含如下三种：1)标记物识别。在目标物体上贴二维码等标记物，通过视觉图像识别二维码信息，并对二维码进行定位，间接得到目标物体的位姿。2)双目视觉定位。通过使用两个相机在不同位置进行拍摄，然后对拍摄的图像进行匹配，筛选目标物体的匹配点对，根据视差和三角测距原理计算出目标物体的位置。3)深度学习识别与定位。建立目标物体图像的数据集，通过深度学习框架和数据集训练神经网络模型，再用训练好的模型识别图像中的目标物***置，然而这些方法都存在一定的问题，无法保证目标物体识别和定位的效率和准确性。
发明内容
本发明实施例提供一种基于RGBD相机的目标物体识别与定位方法，基于RGBD相机即可实现对目标物体的识别和精确定位。
本发明是这样实现的，一种基于RGBD相机的目标物体识别与定位方法，所述方法具体包括如下步骤：
S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；
S2、在RGB图像查找与模板图像差异度最低的目标区域；
S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；
S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe；
S5、计算重心坐标pg与形心坐标pe的差值，若该差值小于预设阈值，则判定目标物体成功识别，返回形心坐标pe。
进一步的，所述目标区域的查找方法具体包括如下步骤：
S21、基于模板图像的尺寸m*n来构建滑动窗，滑动窗在RGB图像上滑动；
S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j)；
S23、滑动窗遍历整个RGB图像，获取差异度最小的像素原点坐标(umin,vmin)，则匹配出的目标区域为[(umin,vmin)，(umin+m,vmin+n)]。
进一步的，基于目标区域的深度图像imgD及RGB图像来计算包含目标物体的三维点云坐标(x,y,z)，其计算公式具体如下：
Figure BDA0002349724610000021
(u,v)为像素点在深度图imgD的像素坐标，d为像素深度值，fx和fy为像素表示的焦距长，(cx,cx)为主点像素坐标，即目标区域中心的像素坐标。
进一步的，在步骤S3之后，在步骤S4之前还包括：
S6、对包含目标物体的三维点云进行滤波，剔除离群点。
进一步的，基于构建的目标物体点云来计算目标物体点云重心坐标pg，pg的计算公式具体如下：
Figure BDA0002349724610000022
其中，Si(xi,yi,zi)为目标物体的点云坐标，N为目标物体的点云数量。
进一步的，基于目标区域来计算目标物体的形心坐标pe，pe的计算公式具体如下：
Figure BDA0002349724610000031
其中，[umin,vmin]为相似度值最小的像素原点坐标，m和n代表模板图像的宽和高，fx和fy为像素表示的焦距长，(cx,cx)为主点像素坐标，即目标区域中心的像素坐标。
本发明是这样实现的，一种移动机器人，所述移动机器人上设有RGBD相机，RGBD相机与图像处理器连接，RGBD相机用于采集目标物体的图像，并发送至图像处理器，图形处理器基于权利要求1至权利要求6任一权利要求所述基于RGBD相机的目标物体识别与定位方法来定位目标物体的中心位置。
本发明提供的基于RGBD相机的目标物体识别方法具有如下有益技术效果：基于RGBD相机即可实现对目标物体的识别和精确定位，以进行对目标物体的下一步抓取操作。
附图说明
图1为本发明实施例提供的基于RGBD相机的目标物体识别与定位方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为本发明实施例提供的基于RGBD相机的目标物体识别与定位方法流程图，该方法具体包括如下步骤：
S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；
S2、在RGB图像查找与模板图像差异度最低的目标区域，模板图像时预先存储的，目标区域的查找方法具体包括如下步骤：
S21、基于模板图像的尺寸m*n来构建滑动窗，滑动窗在RGB图像上滑动；
S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j)，其计算公式具体如下；
Figure BDA0002349724610000041
其中，T(m,n)表示模板图像中各点的像素值，m和n代表模板图像的宽和高，I(i+m,j+n)表示RGB图像中从坐标(i,j)到(i+m,j+n)像素区域的像素值。
S23、滑动窗遍历整个RGB图像，获取差异度最小的像素原点坐标(umin,vmin)，则匹配出的目标区域为[(umin,vmin)，(umin+m,vmin+n)]。
S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；
基于目标区域的深度图像imgD及RGB图像来计算包含目标物体的三维点云坐标(x,y,z)，其计算公式具体如下：
Figure BDA0002349724610000042
(u,v)为像素点在深度图imgD的像素坐标，d为像素深度值，fx和fy为像素表示的焦距长，(cx,cx)为主点像素坐标，即目标区域中心的像素坐标。
在本发明实施例中，在步骤S3之后，在步骤S4之前还包括：
S6、对包含目标物体的三维点云进行滤波，剔除离群点；
初始化pcl库中的统计概率滤波器，设置邻近点数，计算每个点和所有邻近点的距离均值，由所有的距离均值和方差建立高斯分布。再设置标准差倍数，认定平均距离在标准差倍数范围之外的点为离群点，剔除离群点，得到包含支撑面和目标物体的点云。
对点云进行RANSAC平面提取，使用随机产生器提取点集中的任意三点，构建支撑平面方程Ax+By+Cz+D＝0，计算点云中所有点到该平面的距离d，当d小于阈值，保存内点，距离d的计算公式具体如下：
Figure BDA0002349724610000051
当随机迭代次数达到阈值，停止迭代，在点集中找到特定三点所含内点数最多，认定此内点点集为支撑平面，剔除该内点点集，只保留目标物体点云。
S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe，
基于构建的目标物体点云来计算目标物体点云重心坐标pg，pg的计算公式具体如下：
Figure BDA0002349724610000052
其中，Si(xi,yi,zi)为目标物体的点云坐标，N为目标物体的点云数量。
基于目标区域来计算目标物体的形心坐标pe，pe的计算公式具体如下：
Figure BDA0002349724610000053
其中，[umin,vmin]为相似度值最小的像素原点坐标，m和n代表模板图像的宽和高，fx和fy为像素表示的焦距长，(cx,cx)为主点像素坐标，即目标区域中心的像素坐标。
S5、计算重心坐标pg与形心坐标pe的差值，若该差值小于预设阈值，则判定目标物体成功识别，并返回形心坐标pe，若该差值大于等于预设阈值，则执行步骤S1。
本发明还提供一种移动机器人，该移动机器人上设有RGBD相机，RGBD相机与图像处理器连接，RGBD相机用于采集目标物体的图像，并发送至图像处理器，图形处理器基于上述目标物体的识别方法来定位目标物体的中心位置。
本发明提供的基于RGBD相机的目标物体识别方法具有如下有益技术效果：基于RGBD相机即可实现对目标物体的识别和精确定位，以进行对目标物体的下一步抓取操作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于RGBD相机的目标物体识别与定位方法，其特征在于，所述方法具体包括如下步骤：
S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；
S2、在RGB图像查找与模板图像差异度最低的目标区域；
S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；
S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe；
S5、计算重心坐标pg与形心坐标pe的差值，若该差值小于预设阈值，则判定目标物体成功识别，返回形心坐标pe；
基于构建的目标物体点云来计算目标物体点云重心坐标pg，pg的计算公式具体如下：
Figure FDA0003700020950000011
其中，Si(xi,yi,zi)为目标物体的点云坐标，N为目标物体的点云数量；
基于目标区域来计算目标物体的形心坐标pe，pe的计算公式具体如下：
Figure FDA0003700020950000012
其中，[umin,vmin]为相似度值最小的像素原点坐标，m和n代表模板图像的宽和高，fx和fy为像素表示的焦距长，(cx,cy)为主点像素坐标，即目标区域中心的像素坐标，d为像素深度值。
2.如权利要求1所述基于RGBD相机的目标物体识别与定位方法，其特征在于，所述目标区域的查找方法具体包括如下步骤：
S21、基于模板图像的尺寸m*n来构建滑动窗，滑动窗在RGB图像上滑动；
S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j)；
S23、滑动窗遍历整个RGB图像，获取差异度最小的像素原点坐标(umin,vmin)，则匹配出的目标区域为[(umin,vmin)，(umin+m,vmin+n)]。
3.如权利要求1所述基于RGBD相机的目标物体识别与定位方法，其特征在于，基于目标区域的深度图像imgD及RGB图像来计算包含目标物体的三维点云坐标(x,y,z)，其计算公式具体如下：
Figure FDA0003700020950000021
(u,v)为像素点在深度图imgD的像素坐标，d为像素深度值，fx和fy为像素表示的焦距长，(cx,cy)为主点像素坐标，即目标区域中心的像素坐标。
4.如权利要求1所述基于RGBD相机的目标物体识别与定位方法，其特征在于，在步骤S3之后，在步骤S4之前还包括：
S6、对包含目标物体的三维点云进行滤波，剔除离群点。
5.一种移动机器人，其特征在于，所述移动机器人上设有RGBD相机，RGBD相机与图像处理器连接，RGBD相机用于采集目标物体的图像，并发送至图像处理器，图形处理器基于权利要求1至权利要求4任一权利要求所述基于RGBD相机的目标物体识别与定位方法来定位目标物体的中心位置。
CN201911410057.8A 2019-12-31 2019-12-31 基于rgbd相机的目标物体识别与定位方法及移动机器人 Active CN111160280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911410057.8A CN111160280B (zh) 2019-12-31 2019-12-31 基于rgbd相机的目标物体识别与定位方法及移动机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911410057.8A CN111160280B (zh) 2019-12-31 2019-12-31 基于rgbd相机的目标物体识别与定位方法及移动机器人

Publications (2)

Publication Number Publication Date
CN111160280A CN111160280A (zh) 2020-05-15
CN111160280B true CN111160280B (zh) 2022-09-30

Family

ID=70559801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911410057.8A Active CN111160280B (zh) 2019-12-31 2019-12-31 基于rgbd相机的目标物体识别与定位方法及移动机器人

Country Status (1)

Country Link
CN (1) CN111160280B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446919B (zh) * 2020-12-01 2024-05-28 平安科技（深圳）有限公司 物***姿估计方法、装置、电子设备及计算机存储介质
CN113256721B (zh) * 2021-06-21 2021-12-03 浙江光珀智能科技有限公司 一种室内多人三维高精度定位方法
CN116228854B (zh) * 2022-12-29 2023-09-08 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101632001A (zh) * 2006-12-20 2010-01-20 斯甘拉伊斯股份有限公司 一种用于相对于基本参考数据对扫描点云数据定向的***和方法
WO2019100647A1 (zh) * 2017-11-21 2019-05-31 江南大学 一种基于rgb-d相机的物体对称轴检测方法
CN109949303A (zh) * 2019-03-28 2019-06-28 凌云光技术集团有限责任公司 工件形状检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10046459B2 (en) * 2015-11-16 2018-08-14 Abb Schweiz Ag Three-dimensional visual servoing for robot positioning
CN108732582B (zh) * 2017-04-20 2020-07-10 百度在线网络技术（北京）有限公司 车辆定位方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101632001A (zh) * 2006-12-20 2010-01-20 斯甘拉伊斯股份有限公司 一种用于相对于基本参考数据对扫描点云数据定向的***和方法
WO2019100647A1 (zh) * 2017-11-21 2019-05-31 江南大学 一种基于rgb-d相机的物体对称轴检测方法
CN109949303A (zh) * 2019-03-28 2019-06-28 凌云光技术集团有限责任公司 工件形状检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Registration of images to unorganized 3D point clouds using contour cues";A. Pujol-Miro等;《2017 25th European Signal Processing Conference (EUSIPCO)》;20171026;全文 *
"具有视觉伺服的执行机构自主定位与精准控制研究";李雷远;《中国优秀博硕士学位论文全文数据库(博士)·信息科技辑》;20180215;第2018年卷(第02期);全文 *

Also Published As

Publication number Publication date
CN111160280A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN111160280B (zh) 基于rgbd相机的目标物体识别与定位方法及移动机器人
CN109074085B (zh) 一种自主定位和地图建立方法、装置和机器人
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
EP2874097A2 (en) Automatic scene parsing
CN110827353B (zh) 一种基于单目摄像头辅助的机器人定位方法
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN107808524B (zh) 一种基于无人机的道路交叉口车辆检测方法
CN111337011A (zh) 一种基于激光和二维码融合的室内定位方法
CN108088444A (zh) 基于三维激光的室内点云地图生成***及方法
CN112683228A (zh) 单目相机测距方法及装置
Nagy et al. SFM and semantic information based online targetless camera-LIDAR self-calibration
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
CN112197705A (zh) 一种基于视觉和激光测距的果实定位方法
CN109145902B (zh) 一种利用泛化特征对几何标识进行识别及定位的方法
CN109358315B (zh) 一种辅助目标间接定位方法及***
KR101456172B1 (ko) 이동로봇의 위치인식 장치, 방법 및 이동로봇
CN108388854A (zh) 一种基于改进fast-surf算法的定位方法
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及***
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位***
CN115205825B (zh) 基于改进yolov5的行车视频序列图像检测识别交通标志方法
CN116300880A (zh) 视觉避障方法及***、电子设备、介质
CN107481255B (zh) 一种人员数量的确定方法及装置
CN115841668A (zh) 一种双目视觉苹果识别以及精准定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant