CN106803261A - 机器人相对位姿估计方法 - Google Patents

机器人相对位姿估计方法 Download PDF

Info

Publication number
CN106803261A
CN106803261A CN201510811084.1A CN201510811084A CN106803261A CN 106803261 A CN106803261 A CN 106803261A CN 201510811084 A CN201510811084 A CN 201510811084A CN 106803261 A CN106803261 A CN 106803261A
Authority
CN
China
Prior art keywords
quick response
response code
camera
relative pose
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510811084.1A
Other languages
English (en)
Inventor
王宏玉
徐方
曲道奎
宋健
李邦宇
刘晓帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Owned Assets Management Co Ltd
Shenyang Siasun Robot and Automation Co Ltd
Original Assignee
State Owned Assets Management Co Ltd
Shenyang Siasun Robot and Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Owned Assets Management Co Ltd, Shenyang Siasun Robot and Automation Co Ltd filed Critical State Owned Assets Management Co Ltd
Priority to CN201510811084.1A priority Critical patent/CN106803261A/zh
Publication of CN106803261A publication Critical patent/CN106803261A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机器人视觉技术领域，尤其涉及一种机器人相对位姿估计方法，具体为：在场景中设置指定类型的二维码标识，对单目近红外摄像头采集的包含有二维码标识的场景图像做自适应的二值化处理，定位二维码中所有探测图形上的指定位置和所有校正图形中心作为关键点，并根据这些关键点位置和关系建立单应性关系矩阵，再根据标定好的摄像头内参数矩阵，求解外参数矩阵。最后对外参数矩阵做变换得到二维码平面与摄像头平面的相对位姿关系。

Description

机器人相对位姿估计方法
技术领域
本发明涉及机器人视觉技术领域，尤其涉及一种机器人相对位姿估计方法。
背景技术
随着移动机器人技术的发展，移动机器人已具备能在不知起点，不知地图的条件下，进行自主定位的能力。研究能够实现SLAM(同时定位与地图创建)能力的自主移动机器人也是技术发展的主要趋势。目前，较为流行且应用较为广泛的SLAM方法，是应用单目视觉提供的冗余几何实***置信息，与激光雷达探测得到的位置信息在观察级进行融合，利用扩展卡尔曼滤波集成机制实现移动机器人的准确定位。然而，出于不同目的考虑，有时需要获得更高精度的位姿信息。如实现移动机器人靠墙的自动充电等自动归位功能，需要更为精确的位姿估计。
目前，为获得较为精确的部分位姿信息，主要是利用视觉方法，视觉方法主要包括单目视觉和双目视觉。双目定位可以获得深度信息构建三维姿态，但场景重构过程需要消耗大量计算资源。而利用单目视觉位姿估计主要采用单个或多个自定义标志或多个二维码标志。自定义标志日常生活中较为少见，在室内或其他场景中美观性较差。采用多个二维码除了美观问题外，占用面积也较大。
发明内容
针对现有技术的不足，本发明提供一种机器人相对位姿估计方法。采用一种利用单个近红外定焦摄像头和单个二维码实现移动机器人位姿的精确估计。具体包括：
设置二维码标识；
将单目近红外摄像头采集到的包含有二维码标识的场景图像做自适应的二值化处理，定位二维码中所有探测图形上的指定位置和所有校正图形中心作为关键点，并根据它们的位置及关系建立二维码平面与摄像头平面的单应性关系矩阵；
根据标定好的摄像头内参数矩阵，求解外参数矩阵，对外参数矩阵做变换得到二维码平面与摄像头平面相对位姿关系。
优选的，所述二维码标识其尺寸范围在5-10cm之间，校正图形的数量不少于一个。
优选的，二维码平面与水平面垂直，二维码一条边与水平面平行。
优选的，所述摄像头为定焦单目近红外摄像头，且摄像头带有红外线补光灯，当采集图像达到一定清晰度或规定距离则可以进行位姿估计。
优选的，摄像头的外参数矩阵是根据已确定的内参数矩阵，图像中二维码的所有探测图形上的指定位置，二维码上所有校正图形的中心位置，以及上述所有定位点之间的关系求得的。
采用本发明的技术方案，能达到如下有益效果：
1、此方法仅使用单个普通定焦带有红外补光灯的近红外摄像头和一般的二维码即可实现，成本要求很低，实现简单且可以达到精确位姿估计的要求。
2、采用有红外线补光灯的近红外摄像头，可以在夜间等暗光或无光的情况实现位姿估计，由于红外光不是可见光，而红外摄像机却能捕捉到，所以在不干扰现有环境的情况下可拍摄足够清晰的二维码图像。
3、日常使用的二维码只要大小适当，摆放适当，都可以用作位姿估计的标志，即使标志损坏也可以轻松替换。
附图说明
图1为本发明实施例机器人相对位姿估计方法流程图。
图2为本发明实施例二维码定位点解析图。
具体实施方式
下面结合附图及具体实施例，对本发明的具体实施方式作进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
实施例一
S11：设置二维码标识。
S12：将采集到的包含有二维码标识的场景图像做自适应的二值化处理，定位二维码中所有探测图形上的指定位置和校正图形3中心，并根据它们的位置关系建立二维码平面与摄像头平面的单应性关系矩阵。
S13：根据标定好的摄像头内参数矩阵，求解外参数矩阵，对外参数矩阵做变换得到二维码平面与摄像头平面相对位姿关系。
实施例二
下面结合说明书附图2对机器人相对位姿估计方法进行详细阐述。一种机器人相对位姿估计方法，包括如下步骤：
S21：设置二维码标识。
所述二维码标识的尺寸范围应该在5-10cm之间为宜。校正图形3的数量不少于一个。在场景中，尽可能保证二维码平面与水平面垂直，二维码一条边尽量与水平面平行。其次，确保二维码标识中心点的高度与机器人单目摄像头的中心位置高度尽可能一致或者其高度差不超过5cm。
S22：利用带有红外补光灯的近红外摄像头采集带有二维码标志的图像。
当机器人移动到靠近二维码位置并将位姿估计摄像头转向二维码区域，保证摄像头采集到图像中包含整个二维码标志且图像清晰度足够就可以进行位姿估计，在亮度不够的环境里，使用红外线补光灯补光。
S23：定位位姿估计需要的二维码图像上的关键点。
对采集到的图像进行自适应的二值化处理。在处理后的二值图像上搜索二维码上的三个位置探测图形2，并根据三个探测图形的位置计算得到其他校验图形的中心位置。最终得到位姿计算需要的所有关键点1的位置信息。
S24：根据图像上的定位的所有关键点位置及相对位置关系获得二维码平面与摄像头平面的单应性关系矩阵。
根据图像上定位的所有关键点1位置及相对位置关系采用张正友标定方法求解二维码平面与摄像头平面的单应性关系矩阵。
S25：根据得到的单应性矩阵及之前标定好的摄像头内参数矩阵求得外参数矩阵。
此时摄像头平面处于图像坐标系下，需要将图像坐标系变换为摄像头的物理坐标系下才能求得同坐标系下的相对位姿关系，即摄像头的外参数矩阵。这里外参数矩阵利用单应性矩阵除以之前标定好的摄像头内参数矩阵求得。
S26：利用外参数矩阵获得二维码平面与单目摄像头平面的相对姿态偏差。
外参数矩阵中包含二维码所在平面与摄像头所在平面的相对位姿关系。将外参数矩阵中的平移向量的三维数据分别乘以二维码标志上关键点间的实际尺寸得到空间中XYZ轴的相对偏移距离，这里关键点间的尺寸是统一长度且预先测量好的，而空间中XYZ轴的旋转角度需要利用外参数矩阵中的旋转向量反求欧拉角得到。
上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.一种机器人相对位姿估计方法，其特征在于，所述方法包括：
设置二维码标识；
将单目近红外摄像头采集到的包含有二维码标识的场景图像做自适应的二值化处理，定位二维码中所有探测图形上的指定位置和所有校正图形中心作为关键点，并根据它们的位置及关系建立二维码平面与摄像头平面的单应性关系矩阵；
根据标定好的摄像头内参数矩阵，求解外参数矩阵，对外参数矩阵做变换得到二维码平面与摄像头相对位姿关系。
2.如权利要求1所述的机器人相对位姿估计方法，其特征在于，所述二维码标识其尺寸范围在5-10cm之间，校正图形的数量不少于一个。
3.如权利要求1或2中所述的机器人相对位姿估计方法，其特征在于，还包括，二维码平面与水平面垂直，二维码一条边与水平面平行。
4.如权利要求1所述的机器人相对位姿估计方法，其特征在于，所述摄像头为定焦单目近红外摄像头，且摄像头带有红外线补光灯，当采集图像达到一定清晰度则可以进行位姿估计。
5.如权利要求1所述的机器人相对位姿估计方法，其特征在于，摄像头的外参数矩阵是根据已确定的内参数矩阵，采集图像中二维码的所有探测图形上的指定位置，二维码上所有校正图形的中心位置，以及上述所有定位点之间的关系求得的。
CN201510811084.1A 2015-11-20 2015-11-20 机器人相对位姿估计方法 Pending CN106803261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510811084.1A CN106803261A (zh) 2015-11-20 2015-11-20 机器人相对位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510811084.1A CN106803261A (zh) 2015-11-20 2015-11-20 机器人相对位姿估计方法

Publications (1)

Publication Number Publication Date
CN106803261A true CN106803261A (zh) 2017-06-06

Family

ID=58975695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510811084.1A Pending CN106803261A (zh) 2015-11-20 2015-11-20 机器人相对位姿估计方法

Country Status (1)

Country Link
CN (1) CN106803261A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403454A (zh) * 2017-08-03 2017-11-28 武汉纺织大学 一种立体停车场车辆位置参数和尺寸参数测量***及方法
CN107945233A (zh) * 2017-12-04 2018-04-20 深圳市沃特沃德股份有限公司 视觉扫地机器人及其回充方法
CN108038885A (zh) * 2017-11-29 2018-05-15 深圳奥比中光科技有限公司 多深度相机标定方法
CN108344420A (zh) * 2018-02-22 2018-07-31 王昕� 一种经颅磁刺激智能导航定位装置
CN108827342A (zh) * 2018-06-15 2018-11-16 深圳市沃特沃德股份有限公司 扫地机器人的摄像头与里程计坐标标定方法及***
CN109099915A (zh) * 2018-06-27 2018-12-28 未来机器人（深圳）有限公司 移动机器人定位方法、装置、计算机设备和存储介质
CN109345588A (zh) * 2018-09-20 2019-02-15 浙江工业大学 一种基于Tag的六自由度姿态估计方法
WO2019034115A1 (zh) * 2017-08-16 2019-02-21 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及***
CN109540148A (zh) * 2018-12-04 2019-03-29 广州小鹏汽车科技有限公司 基于slam地图的定位方法及***
CN109827575A (zh) * 2019-01-28 2019-05-31 深圳市普渡科技有限公司 基于定位标识的机器人定位方法
WO2020051923A1 (en) * 2018-09-15 2020-03-19 Qualcomm Incorporated Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device
CN112344876A (zh) * 2020-11-03 2021-02-09 上海港旺新能源科技有限公司 检测槽式太阳光热装置聚光反射板安装误差的***及方法
CN112508065A (zh) * 2020-11-24 2021-03-16 深圳市优必选科技股份有限公司 机器人及其定位方法和装置
CN112766008A (zh) * 2021-01-07 2021-05-07 南京邮电大学 一种基于二维码的物体空间位姿获取方法
CN113989371A (zh) * 2021-10-28 2022-01-28 山东大学 一种基于视觉的模块化平台相对位姿估计***
CN114397886A (zh) * 2021-12-20 2022-04-26 烟台杰瑞石油服务集团股份有限公司 一种充电方法及充电***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673397A (zh) * 2009-09-30 2010-03-17 青岛大学 一种基于lcd的数码相机非线性标定方法
CN102096923A (zh) * 2011-01-20 2011-06-15 上海杰图软件技术有限公司 鱼眼标定方法和装置
CN102419178A (zh) * 2011-09-05 2012-04-18 中国科学院自动化研究所 基于红外路标的移动机器人定位***和方法
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673397A (zh) * 2009-09-30 2010-03-17 青岛大学 一种基于lcd的数码相机非线性标定方法
CN102096923A (zh) * 2011-01-20 2011-06-15 上海杰图软件技术有限公司 鱼眼标定方法和装置
CN102419178A (zh) * 2011-09-05 2012-04-18 中国科学院自动化研究所 基于红外路标的移动机器人定位***和方法
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403454A (zh) * 2017-08-03 2017-11-28 武汉纺织大学 一种立体停车场车辆位置参数和尺寸参数测量***及方法
CN107403454B (zh) * 2017-08-03 2023-09-22 武汉纺织大学 一种立体停车场车辆位置参数和尺寸参数测量***及方法
WO2019034115A1 (zh) * 2017-08-16 2019-02-21 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及***
US11340628B2 (en) 2017-08-16 2022-05-24 Beijing Geekplus Technology Co., Ltd. Marker-combined simultaneous localization and mapping navigation method, device and system
CN108038885A (zh) * 2017-11-29 2018-05-15 深圳奥比中光科技有限公司 多深度相机标定方法
CN107945233A (zh) * 2017-12-04 2018-04-20 深圳市沃特沃德股份有限公司 视觉扫地机器人及其回充方法
CN108344420A (zh) * 2018-02-22 2018-07-31 王昕� 一种经颅磁刺激智能导航定位装置
CN108827342A (zh) * 2018-06-15 2018-11-16 深圳市沃特沃德股份有限公司 扫地机器人的摄像头与里程计坐标标定方法及***
CN109099915A (zh) * 2018-06-27 2018-12-28 未来机器人（深圳）有限公司 移动机器人定位方法、装置、计算机设备和存储介质
WO2020000737A1 (zh) * 2018-06-27 2020-01-02 未来机器人（深圳）有限公司 移动机器人定位方法、存储介质及计算机设备
WO2020051923A1 (en) * 2018-09-15 2020-03-19 Qualcomm Incorporated Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device
CN109345588A (zh) * 2018-09-20 2019-02-15 浙江工业大学 一种基于Tag的六自由度姿态估计方法
CN109540148B (zh) * 2018-12-04 2020-10-16 广州小鹏汽车科技有限公司 基于slam地图的定位方法及***
CN109540148A (zh) * 2018-12-04 2019-03-29 广州小鹏汽车科技有限公司 基于slam地图的定位方法及***
CN109827575A (zh) * 2019-01-28 2019-05-31 深圳市普渡科技有限公司 基于定位标识的机器人定位方法
CN112344876A (zh) * 2020-11-03 2021-02-09 上海港旺新能源科技有限公司 检测槽式太阳光热装置聚光反射板安装误差的***及方法
CN112508065A (zh) * 2020-11-24 2021-03-16 深圳市优必选科技股份有限公司 机器人及其定位方法和装置
CN112508065B (zh) * 2020-11-24 2024-05-24 深圳市优必选科技股份有限公司 机器人及其定位方法和装置
CN112766008A (zh) * 2021-01-07 2021-05-07 南京邮电大学 一种基于二维码的物体空间位姿获取方法
CN112766008B (zh) * 2021-01-07 2022-09-06 南京邮电大学 一种基于二维码的物体空间位姿获取方法
CN113989371A (zh) * 2021-10-28 2022-01-28 山东大学 一种基于视觉的模块化平台相对位姿估计***
CN113989371B (zh) * 2021-10-28 2024-05-03 山东大学 一种基于视觉的模块化平台相对位姿估计***
CN114397886A (zh) * 2021-12-20 2022-04-26 烟台杰瑞石油服务集团股份有限公司 一种充电方法及充电***
CN114397886B (zh) * 2021-12-20 2024-01-23 烟台杰瑞石油服务集团股份有限公司 一种充电方法及充电***

Similar Documents

Publication Publication Date Title
CN106803261A (zh) 机器人相对位姿估计方法
CN106462265B (zh) 基于编码光定位便携式设备
CN104217439B (zh) 一种室内视觉定位***及方法
CN104173054A (zh) 基于双目视觉技术的人体身高测量方法及其装置
CN108765498A (zh) 单目视觉跟踪方法、装置及存储介质
US20170169604A1 (en) Method for creating a spatial model with a hand-held distance measuring device
CN107687841A (zh) 一种测距方法及装置
CN107016697B (zh) 一种高度测量方法及装置
CN103837147B (zh) 主动红外点阵式人工路标及智能体定位***及方法
CN108332748B (zh) 一种室内可见光定位方法及装置
CN107193380B (zh) 一种高精度虚拟现实定位***
US11585931B2 (en) Light direction detector systems and methods
CN109188358B (zh) 一种基于成像传感器的高精度可见光定位方法
CN106408614B (zh) 适于现场应用的摄像机内参数标校方法和***
CN107832661B (zh) 一种基于视觉路标的室内移动机器人定位方法
CN206100245U (zh) 360度全景深度摄像机
CN112204345A (zh) 移动设备的室内定位方法、移动设备及控制***
CN112361962B (zh) 一种多俯仰角度的智能视觉3d信息采集设备
CN107038758A (zh) 一种基于orb算子的增强现实三维注册方法
US20070076096A1 (en) System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system
CN110823187A (zh) 一种基于航拍测量待测面积的控制方法及装置
CN109636850A (zh) 面向室内智能灯下的可见光定位方法
CN102278977B (zh) 机器鱼红外视觉定位***
CN104535015A (zh) 一种基于飞行时间法的三维扫描设备
CN111369622B (zh) 虚实叠加应用的相机世界坐标位置获取方法、装置和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Hunnan New District Jinhui street in Shenyang of Liaoning province 110168 City No. 16

Applicant after: Shenyang Xinsong Robert Automation Co., Ltd.

Applicant after: Chinese Academy of Sciences Holdings Limited

Address before: Hunnan New District Jinhui street in Shenyang of Liaoning province 110168 City No. 16

Applicant before: Shenyang Xinsong Robert Automation Co., Ltd.

Applicant before: State owned Assets Management Co., Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170606