CN111768449B - 一种双目视觉结合深度学习的物体抓取方法 - Google Patents

一种双目视觉结合深度学习的物体抓取方法 Download PDF

Info

Publication number
CN111768449B
CN111768449B CN201910254109.0A CN201910254109A CN111768449B CN 111768449 B CN111768449 B CN 111768449B CN 201910254109 A CN201910254109 A CN 201910254109A CN 111768449 B CN111768449 B CN 111768449B
Authority
CN
China
Prior art keywords
information
image
deep learning
matching
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910254109.0A
Other languages
English (en)
Other versions
CN111768449A (zh
Inventor
曾洪庆
钱超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vizum Intelligent Technology Co ltd
Original Assignee
Beijing Vizum Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vizum Intelligent Technology Co ltd filed Critical Beijing Vizum Intelligent Technology Co ltd
Priority to CN201910254109.0A priority Critical patent/CN111768449B/zh
Publication of CN111768449A publication Critical patent/CN111768449A/zh
Application granted granted Critical
Publication of CN111768449B publication Critical patent/CN111768449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种双目视觉结合深度学习的物体抓取方法，包括：采集双目图像；对左右图像分别进行目标识别，获得目标区域信息；根据各目标区域信息，计算区域特征值，并进行左右目标的匹配；使用左右图像的目标区域信息及匹配关系，计算目标位姿；机械执行机构进行抓取。本发明将自适应的深度学习算法模型双目视觉相结合，利用自适应的深度学习算法模型进行特征匹配，得到更精确的匹配特征、匹配关系，进而使双目视觉计算结果更准确、稳定，从而提高机械臂对物体的定位和抓取的应用效率和可靠性。

Description

一种双目视觉结合深度学习的物体抓取方法
技术领域
本发明属于机械臂定位抓取应用技术领域，具体涉及一种双目视觉结合深度学习的物体抓取方法。
背景技术
机械臂对物体的定位和抓取，决定了机械臂的应用效率和可靠性，基于双目立体视觉对物体的识别与定位，可快速获得物***置信息，实现机械臂对物体的定位和抓取。双目立体视觉是计算机视觉的一个重要分支，利用两摄像机从不同位置对同一物体拍摄得到两幅图像，通过匹配算法找出两幅图像中的对应点，经过计算得出视差，然后基于三角测量原理恢复出物体在真实世界中的距离信息。在实际使用中，各匹配算法由于自身缺陷，提取的匹配特征不佳，再加上在处理纹理缺失物体时提取匹配特征难度加大，匹配的效果不尽完善。
深度学习能利用有监督训练自动学习提取的有用特征，令特征能更加抽象、高层地表现，且分布式和并行计算的能力是其最大的优点。将深度学习应用于双目视觉的匹配过程，填补普通双目视觉的不足之处，具有很高的实用价值。
发明内容
针对上述问题，本发明提出一种双目视觉结合深度学习的物体抓取方法。本发明所采用的技术方案是：
一种双目视觉结合深度学习的物体抓取方法，包括：采集双目图像；对左右图像分别进行目标识别，获得目标区域信息；根据各目标区域信息，计算区域特征值，并进行左右目标的匹配；使用左右图像的目标区域信息及匹配关系，计算目标位姿；机械执行机构进行抓取。
进一步地，所述采集双目图像包括：对双目相机进行立体标定；通过双目相机的左摄像头和右摄像头分别获取目标物体的左图像和右图像；对左图像、右图像进行极线校正，使校正后的左图像和右图像行对准。
进一步地，所述对左右图像分别进行目标识别，获得目标区域信息包括：图像尺寸裁剪至指定尺寸；输入到自适应深度学习算法进行处理；输出检测结果，作为后续匹配的基础。
进一步地，所述自适应深度学习算法基于经典的目标检测算法SSD，在原算法CONV4_3层，利用FPN算法思想对多级Feature Maps进行上采样以提高小目标检测精度。
进一步地，所述根据各目标区域信息，计算区域特征值，并进行左右目标的匹配包括：根据左右图像的区域信息计算参考锚点；根据锚点计算每一块区域信息的特征信息P；左右目标匹配。
进一步地，所述根据左右图像的区域信息计算参考锚点包括：锚点的计算藉由各区域大小及其中心点完成，具体方法如式：其中Qi为目标区域尺寸，Ki为目标区域中心。
进一步地，所述根据锚点计算每一块区域信息的特征信息P包括：由锚点信息(x0，y0)及区域信息(x，y，w，h，t)，计算坐标偏移信息(x-x0，y-y0)及区域信息(w*h，t)，共同组成特征信息P(x-x0，y-y0，w*h，t)。
进一步地，所述左右目标匹配包括：将特征信息P视为四维向量，分别乘以相应的权重，然后通过计算两个向量间的欧式距离视为其最终的差异度，根据差异度使用WTA(Winner Take ALL)算法获得匹配组合。
本发明的有益效果是：将自适应的深度学习算法模型双目视觉相结合，利用自适应的深度学习算法模型进行特征匹配，得到更精确的匹配特征、匹配关系，进而使双目视觉计算结果更准确、稳定，从而提高机械臂对物体的定位和抓取的应用效率和可靠性。
附图说明
图1是本发明一种双目视觉结合深度学习的物体抓取方法示意性流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参见图1，本发明实施例具体包括以下步骤：
(1)对双目相机进行立体标定。
具体包括：对双目相机的左摄像头和右摄像头分别进行标定，得到所述双目相机的内参矩阵A、所述左摄像头的旋转矩阵R1和所述右摄像头的旋转矩阵R2，以及所述左摄像头的平移向量T1和所述右摄像头的平移向量T2；通过如下公式计算得到所述左摄像头和所述右摄像头之间的旋转矩阵R和平移向量T：
(2)通过双目相机的左摄像头和右摄像头分别获取目标物体的左图像和右图像。
(3)对左图像、右图像进行极线校正，使校正后的左图像和右图像行对准。
具体包括：将所述旋转矩阵R分解为两个旋转矩阵r1和r2，其中r1和r2通过假设将所述左摄像头和所述右摄像头各旋转一半使所述左摄像头和所述右摄像头的光轴平行而得到；
对所述左图像和所述右图像进行行对准通过下式实现：
其中，Rrect为使行对准的旋转矩阵：
旋转矩阵Rrect由极点e1方向开始，以所述左图像的原点为主，所述左摄像头至所述右摄像头的平移向量的方向为主点方向：
e1与e2正交，将e1归一化到单位向量：
其中，Tx为平移向量T在双目相机所处平面内水平方向的分量，Ty为平移向量T在双目相机所处平面内竖直方向的分量；
e3与e1和e2正交，e3通过如下公式计算得到：
e3＝e2×e1
根据上述旋转矩阵物理意义有：
其中，α表示为使行对准，所述左摄像头和所述右摄像头在其所处平面内需要旋转的角度，0≤α≤180°；对于所述左摄像头，使其绕e3方向旋转α'，对于右相机，使其绕e3方向旋转α”。
(4)对左右图像分别进行目标识别，获得目标区域信息。
具体包括：将图像尺寸裁剪至300×300mm；将裁减好的图像输入到自适应深度学习算法进行处理；输出检测结果，作为后续匹配的基础。
(5)根据各目标区域信息，计算参考锚点。
锚点的计算藉由各区域大小及其中心点完成，具体方法如式：其中Qi为目标区域尺寸，Ki为目标区域中心。
(6)根据锚点计算每一块区域信息的特征信息P。
具体包括：由锚点信息(x0，y0)及区域信息(x，y，w，h，t)，计算坐标偏移信息(x-x0，y-y0)及区域信息(w*h，t)，共同组成特征信息P(x-x0，y-y0，w*h，t)。
(7)根据得到的特征信息P进行左右匹配。
具体包括：将特征信息P视为四维向量，分别乘以相应的权重，然后通过计算两个向量间的欧式距离视为其最终的差异度，根据差异度使用WTA(Winner Take ALL)算法获得匹配组合。
(8)利用获得的匹配关系根据双目立体视觉原理计算特征点的三维坐标。具体包括：
设左摄像机O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为Ol-X1Y1，有效焦距为fl；右摄像机坐标系为Or-xyz，图像坐标系为Or-XrYr，有效焦距为fr。那么根据摄像机的投射模型我们就能得到如下关系式：
因为O-xyz坐标系与Or-xryrzr坐标系之间的位置关系可通过空间转换矩阵MLr表示为：
同理，对于O-xyz坐标系中的空间点，两个摄像机面点之间的对应关系可以表示为：
于是，空间点三维坐标可以表示为：
因此，只要通过计算机标定技术获得左右计算机内参数/焦距fr,fl和空间点在左右摄像机中的图像坐标，就能够重构出被测点的三维空间坐标。
(9)机械执行机构根据获取的三维坐标确定物***置并抓取。

Claims (5)

1.一种双目视觉结合深度学习的物体抓取方法，其特征在于，包括：采集双目图像；对左右图像分别进行目标识别，获得目标区域信息；根据各目标区域信息，计算区域特征值，并进行左右目标的匹配；使用左右图像的目标区域信息及匹配关系，计算目标位姿；机械执行机构进行抓取；
所述根据各目标区域信息，计算区域特征值，并进行左右目标的匹配包括：根据左右图像的区域信息计算参考锚点；根据锚点计算每一块区域信息的特征信息P；左右目标匹配；
所述的根据左右图像的区域信息计算参考锚点，锚点的计算藉由各区域大小及其中心点完成，具体方法如式：
其中Qi为目标区域尺寸，Ki为目标区域中心；
所述的根据锚点计算每一块区域信息的特征信息P，包括：由锚点信息(x0，y0)及区域信息(x，y，w，h，t)，计算坐标偏移信息(x-x0，y-y0)及区域信息(w*h，t)，共同组成特征信息P(x-x0，y-y0，w*h，t)。
2.根据权利要求1所述的双目视觉结合深度学习的物体抓取方法，其特征在于，所述采集双目图像包括：对双目相机进行立体标定；通过双目相机的左摄像头和右摄像头分别获取目标物体的左图像和右图像；对左图像、右图像进行极线校正，使校正后的左图像和右图像行对准。
3.根据权利要求1所述的双目视觉结合深度学习的物体抓取方法，其特征在于，所述对左右图像分别进行目标识别，获得目标区域信息包括：图像尺寸裁剪至指定尺寸；输入到自适应深度学习算法进行处理；输出检测结果，作为后续匹配的基础。
4.根据权利要求3所述的双目视觉结合深度学习的物体抓取方法，其特征在于，所述自适应深度学习算法基于经典的目标检测算法SSD，在原算法CONV4_3层，利用FPN算法思想对多级Feature Maps进行上采样以提高小目标检测精度。
5.根据权利要求1所述的双目视觉结合深度学习的物体抓取方法，其特征在于，包括：将特征信息P视为四维向量，分别乘以相应的权重，然后通过计算两个向量间的欧式距离视为其最终的差异度，根据差异度使用Winner Take ALL算法获得匹配组合。
CN201910254109.0A 2019-03-30 2019-03-30 一种双目视觉结合深度学习的物体抓取方法 Active CN111768449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910254109.0A CN111768449B (zh) 2019-03-30 2019-03-30 一种双目视觉结合深度学习的物体抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910254109.0A CN111768449B (zh) 2019-03-30 2019-03-30 一种双目视觉结合深度学习的物体抓取方法

Publications (2)

Publication Number Publication Date
CN111768449A CN111768449A (zh) 2020-10-13
CN111768449B true CN111768449B (zh) 2024-05-14

Family

ID=72718687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910254109.0A Active CN111768449B (zh) 2019-03-30 2019-03-30 一种双目视觉结合深度学习的物体抓取方法

Country Status (1)

Country Link
CN (1) CN111768449B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393524B (zh) * 2021-06-18 2023-09-26 常州大学 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113689326B (zh) * 2021-08-06 2023-08-04 西南科技大学 一种基于二维图像分割引导的三维定位方法
CN113689422A (zh) * 2021-09-08 2021-11-23 理光软件研究所（北京）有限公司 一种图像处理方法、装置及电子设备
CN116128960A (zh) * 2021-09-17 2023-05-16 山西大学 一种基于机器学习的工件自动抓取方法、***及装置
CN117409340B (zh) * 2023-12-14 2024-03-22 上海海事大学 无人机集群多视角融合航拍港口监控方法、***、介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015042460A1 (en) * 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems and displays
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108076338A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN108381549A (zh) * 2018-01-26 2018-08-10 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取***及方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015042460A1 (en) * 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems and displays
CN108076338A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108381549A (zh) * 2018-01-26 2018-08-10 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取***及方法
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Multiscale Rotated Bounding Box-Based Deep Learning Method for Detecting Ship Targets in Remote Sensing Images;Shuxin Li 等;《sensors》;20180817;第18卷(第08期);1-14 *
基于双目立体视觉的普通工件图像匹配与定位;原彬理;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190315(第(2019)03期);I138-805 *
基于双目视觉的机械手定位抓取技术的研究;徐凯;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615(第(2018)06期);I138-1247 *
基于机器视觉和深度学习的目标识别与抓取定位研究;李传朋;《中国优秀硕士学位论文全文数据库信息科技辑》(第(2017)08期);I138-356:第65-78页 *
适于硬件实现的自适应权重立体匹配算法;马利 等;《***仿真学报》;第26卷(第09期);2079-2084 *

Also Published As

Publication number Publication date
CN111768449A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111768449B (zh) 一种双目视觉结合深度学习的物体抓取方法
CN109544636B (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN111897349B (zh) 一种基于双目视觉的水下机器人自主避障方法
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN104463108B (zh) 一种单目实时目标识别及位姿测量方法
CN111062990A (zh) 一种面向水下机器人目标抓取的双目视觉定位方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、***及装置
CN111105460B (zh) 一种室内场景三维重建的rgb-d相机位姿估计方法
CN109785373B (zh) 一种基于散斑的六自由度位姿估计***及方法
CN104240229B (zh) 一种红外双目相机自适应极线校正方法
TWI709062B (zh) 虛實疊合方法與系統
CN108154536A (zh) 二维平面迭代的相机标定法
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、***、设备及存储介质
CN108171753A (zh) 基于形心特征点与邻域灰度互相关性的立体视觉定位方法
CN111047636B (zh) 基于主动红外双目视觉的避障***和避障方法
CN110363801A (zh) 工件实物与工件三维cad模型的对应点匹配方法
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN104346614A (zh) 一种实景下的西瓜图像处理和定位方法
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN114608558A (zh) 基于特征匹配网络的slam方法、***、设备及存储介质
CN113240749A (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant