CN112434559A - 一种机器人识别定位方法 - Google Patents

一种机器人识别定位方法 Download PDF

Info

Publication number
CN112434559A
CN112434559A CN202011153317.0A CN202011153317A CN112434559A CN 112434559 A CN112434559 A CN 112434559A CN 202011153317 A CN202011153317 A CN 202011153317A CN 112434559 A CN112434559 A CN 112434559A
Authority
CN
China
Prior art keywords
camera
robot
images
matching
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011153317.0A
Other languages
English (en)
Inventor
蒋凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Dalin Automation Technology Co ltd
Original Assignee
Guangdong Horbao Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Horbao Robot Technology Co ltd filed Critical Guangdong Horbao Robot Technology Co ltd
Priority to CN202011153317.0A priority Critical patent/CN112434559A/zh
Publication of CN112434559A publication Critical patent/CN112434559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种机器人识别定位方法，属于机器人技术领域，包括以下步骤：S1、启动机器人进行作业，对机器人作业区域场景进行图像采集，S2、将采集的图像进行图像特征提取，S3、对图像间的特征点进行匹配，完成对目标的识别，S4、对机器人装配的摄像机进行标定。本发明中，能够对目标物体进行识别和定位，避免工作人员触电或坠落等风险，保障了安全，提取的特征点具有更高的显著性，匹配速度和准确度都有一定提高，同时，通过改变摄像机的位置从不同视角获取目标场景图像，获得两幅图像间摄像机的相对位置关系，最终实现目标定位，能够满足特定实用场景需求，具有良好的实用价值。

Description

一种机器人识别定位方法
技术领域
本发明涉及机器人技术领域，具体为一种机器人识别定位方法。
背景技术
近年来，由于计算机和图像处理技术的进步，使利用机器人视觉来模拟生物视觉成为一种重要的方式，视觉技术获得了飞速的发展，并已经在工业、医学、航空航天、电网和目标物跟踪等领域得到了广泛应用。视觉技术研究的重点问题是目标的识别与定位，精确的识别与定位是衡量视觉***的重要指标，尤其在电网领域，为了避免工作人员人工进行高空带电作业时存在的触电或坠落等风险，急需一种能够在配网带电作业的机器人识别定位方法。
发明内容
本发明提供的发明目的在于提供一种机器人识别定位方法，能够对目标物体进行识别和定位，避免工作人员触电或坠落等风险，保障了安全，提取的特征点具有更高的显著性，匹配速度和准确度都有一定提高，同时，通过改变摄像机的位置从不同视角获取目标场景图像，获得两幅图像间摄像机的相对位置关系，最终实现目标定位，能够满足特定实用场景需求，具有良好的实用价值。
为了实现上述效果，本发明提供如下技术方案：一种机器人识别定位方法，包括以下步骤：
S1、启动机器人进行作业，对机器人作业区域场景进行图像采集。
S2、将采集的图像进行图像特征提取。
S3、对图像间的特征点进行匹配，完成对目标的识别。
S4、对机器人装配的摄像机进行标定。
S5、获取图像中的目标物体在空间的三维位置信息，实现对目标进行定位。
进一步的，根据S2中的操作步骤，对采集的图像特征进行提取时，包括以下步骤：
S201、尺度空间极值检测：通过对图像进行尺度变换以得到不同尺度下，图像在尺度空间中的表示序列，对这些序列进行主轮廓提取，并将提取结果作为特征向量，并进行角点检测。
S202、确定关键点的位置和尺度：通过S201的极值检测，获得需要的极值点，对关键点进行三维二次函数的拟合，剔除低对比度和边缘响应的影响，确定关键点的位置和尺度。
S203、确定关键点方向：根据图像的局部特性，给每一个关键点分配方向，然后，基于关键点邻域内像素的梯度方向分布情况，计算关键点的梯度方向和大小。
S204、生成SIFP特征向量：为每一个关键点建立一个特征向量。
进一步的，根据S3中的操作步骤，在对图像间的特征点进行匹配时，包括以下步骤：
S301、通过计算得到特征点与最近邻特征点以及次近邻特征点间的欧式距离。
S302、由这两个欧氏距离间的比例关系确定是否为正确匹配点对。
S303、对获取的匹配点进行去误差处理。
进一步的，根据S303中的操作步骤，在去除误差时，建立防射模型来验证特征点对。
进一步的，根据S4中的操作步骤，对摄像机进行标定时，包括如下操作步骤：
S401、忽略摄像机镜头的畸变，用线性模型求解摄像机的部分参数，以此作为初值。
S402、建立摄像机的非线性模型，并对初值和畸变系数进行优化迭代，获取精确的标定结果。
进一步的，根据S5中的操作步骤，在对目标物体定位时，包括如下步骤：
S501、对摄像机进行标定获得其内部参数。
S502、改变摄像机的位置获得两幅不同视角下拍摄的场景图像。
S503、对图像中目标物体进行特征提取和匹配，根据极线几何约束，通过匹配点对来获得基础矩阵。
S504、结合摄像机的内参数求取本质矩阵，通过对本质矩阵分解进而确定两次拍摄时摄像机间的位置关系。
S505、依据己知的参考图像中目标物体的深度信息，计算出当前场景中目标的三维信息，完成目标定位。
进一步的，根据S503中的操作步骤，在获得基础矩阵时，至少选择8个匹配点。
本发明提供了一种机器人识别定位方法，具备以下有益效果：
(1)、本发明，能够对目标物体进行识别和定位，避免工作人员触电或坠落等风险，保障了安全，提取的特征点具有更高的显著性，匹配速度和准确度都有一定提高。
(2)、本发明，通过改变摄像机的位置从不同视角获取目标场景图像，获得两幅图像间摄像机的相对位置关系，最终实现目标定位，能够满足特定实用场景需求，具有良好的实用价值。
附图说明
图1为一种机器人识别定位方法的总流程图；
图2为一种机器人识别定位方法的图像特征提取的流程图；
图3为一种机器人识别定位方法的特征点匹配的流程图；
图4为一种机器人识别定位方法的摄像机标定的流程图；
图5为一种机器人识别定位方法的目标物体定位的流程图。
具体实施方式
本发明提供一种技术方案：请参阅图1-4，一种机器人识别定位方法，包括以下步骤：(1)、启动机器人进行作业，对机器人作业区域场景进行图像采集。
(2)、将采集的图像进行图像特征提取，对采集的图像特征进行提取时，包括以下步骤：(201)、尺度空间极值检测：通过对图像进行尺度变换以得到不同尺度下，图像在尺度空间中的表示序列，对这些序列进行主轮廓提取，并将提取结果作为特征向量，并进行角点检测，具体的实现过程如下：首先，利用高斯函数对图像进行卷积，之后，将图像与高斯核进行卷积，得到：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
其中，L(x,y,σ)是图像在不同尺度下的尺度空间，G(x,y,σ)为高斯函数对图像进行卷积，σ表示尺度空间因子。
(202)、确定关键点的位置和尺度：通过(201)的极值检测，获得需要的极值点，对关键点进行三维二次函数的拟合，剔除低对比度和边缘响应的影响，确定关键点的位置和尺度，(203)、确定关键点方向：根据图像的局部特性，给每一个关键点分配方向，然后，基于关键点邻域内像素的梯度方向分布情况，计算关键点的梯度方向和大小，(204)、生成SIFP特征向量：为每一个关键点建立一个特征向量。
(3)、对图像间的特征点进行匹配，完成对目标的识别,在对图像间的特征点进行匹配时，包括以下步骤：(301)、通过计算得到特征点与最近邻特征点以及次近邻特征点间的欧式距离，(302)、由这两个欧氏距离间的比例关系确定是否为正确匹配点对，
Figure BDA0002741847600000051
其中，
Dis tan ce(1stNN)表示与最近邻居的欧氏距离，Dis tan ce(2stNN)表示与次近邻居的欧氏距离。当DistRatio低于某个设定的阈值时，匹配成功，此时的最近邻居即为匹配点；反之，则匹配失败。
(303)、对获取的匹配点进行去误差处理，去除误差时，建立防射模型来验证特征点对，二维防射变换，其数学模型如下：
Figure BDA0002741847600000061
其中，(u,v)和(x,y)分别为仿射变换前后特征点对应的坐标，m1，m2，m3，m4,tx和ty,为模型的6个参数。要求解仿射模型的参数，至少需要利用三对匹配特征点坐标,求解公式如下所示:
Figure BDA0002741847600000062
通过建立一个仿射模型来检验特征点对，从而去除误匹配。由以上分析可知，要求解模型的6个参数，我们需要利用3对己知的匹配特征点，其具体求解步骤如下所示：
步骤一：从提取的图像特征点中任选3个进行仿射变换。
步骤二：根据特征点在仿射变换前后坐标间的对应关系，建立方程，求解仿射模型的参数。
步骤三：用步骤二中建立的仿射模型对匹配特征点对进行检验，计算正确匹配的个数。
步骤四：多次重复步骤一至步骤三，找到匹配特征点对最多的一个仿射模型。
步骤五：对由步骤四获得的最佳仿射模型按步骤二进行求解，得到模型的参数。
(4)、对机器人装配的摄像机进行标定，对摄像机进行标定时，包括如下操作步骤：(401)、忽略摄像机镜头的畸变，用线性模型求解摄像机的部分参数，以此作为初值，(402)、建立摄像机的非线性模型，并对初值和畸变系数进行优化迭代，获取精确的标定结果。
(5)、获取图像中的目标物体在空间的三维位置信息，实现对目标进行定位，在对目标物体定位时，包括如下步骤：(501)、对摄像机进行标定获得其内部参数，(502)、改变摄像机的位置获得两幅不同视角下拍摄的场景图像，(503)、对图像中目标物体进行特征提取和匹配，根据极线几何约束，通过匹配点对来获得基础矩阵，在获得基础矩阵时，至少选择8个匹配点，(504)、结合摄像机的内参数求取本质矩阵，通过对本质矩阵分解进而确定两次拍摄时摄像机间的位置关系，(505)、依据己知的参考图像中目标物体的深度信息，计算出当前场景中目标的三维信息，完成目标定位。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种机器人识别定位方法，其特征在于，包括以下步骤：
S1、启动机器人进行作业，对机器人作业区域场景进行图像采集；
S2、将采集的图像进行图像特征提取；
S3、对图像间的特征点进行匹配，完成对目标的识别；
S4、对机器人装配的摄像机进行标定；
S5、获取图像中的目标物体在空间的三维位置信息，实现对目标进行定位。
2.根据权利要求1所述的一种机器人识别定位方法，其特征在于，根据S2中的操作步骤，对采集的图像特征进行提取时，包括以下步骤：
S201、尺度空间极值检测：通过对图像进行尺度变换以得到不同尺度下，图像在尺度空间中的表示序列，对这些序列进行主轮廓提取，并将提取结果作为特征向量，并进行角点检测；
S202、确定关键点的位置和尺度：通过S201的极值检测，获得需要的极值点，对关键点进行三维二次函数的拟合，剔除低对比度和边缘响应的影响，确定关键点的位置和尺度；
S203、确定关键点方向：根据图像的局部特性，给每一个关键点分配方向，然后，基于关键点邻域内像素的梯度方向分布情况，计算关键点的梯度方向和大小；
S204、生成SIFP特征向量：为每一个关键点建立一个特征向量。
3.根据权利要求1所述的一种机器人识别定位方法，其特征在于，根据S3中的操作步骤，在对图像间的特征点进行匹配时，包括以下步骤：
S301、通过计算得到特征点与最近邻特征点以及次近邻特征点间的欧式距离；
S302、由这两个欧氏距离间的比例关系确定是否为正确匹配点对；
S303、对获取的匹配点进行去误差处理。
4.根据权利要求3所述的一种机器人识别定位方法，其特征在于，根据S303中的操作步骤，在去除误差时，建立防射模型来验证特征点对。
5.根据权利要求1所述的一种机器人识别定位方法，其特征在于，根据S4中的操作步骤，对摄像机进行标定时，包括如下操作步骤：
S401、忽略摄像机镜头的畸变，用线性模型求解摄像机的部分参数，以此作为初值；
S402、建立摄像机的非线性模型，并对初值和畸变系数进行优化迭代，获取精确的标定结果。
6.根据权利要求1所述的一种机器人识别定位方法，其特征在于，根据S5中的操作步骤，在对目标物体定位时，包括如下步骤：
S501、对摄像机进行标定获得其内部参数；
S502、改变摄像机的位置获得两幅不同视角下拍摄的场景图像；
S503、对图像中目标物体进行特征提取和匹配，根据极线几何约束，通过匹配点对来获得基础矩阵；
S504、结合摄像机的内参数求取本质矩阵，通过对本质矩阵分解进而确定两次拍摄时摄像机间的位置关系；
S505、依据己知的参考图像中目标物体的深度信息，计算出当前场景中目标的三维信息，完成目标定位。
7.根据权利要求6所述的一种机器人识别定位方法，其特征在于，根据S503中的操作步骤，在获得基础矩阵时，至少选择8个匹配点。
CN202011153317.0A 2020-10-26 2020-10-26 一种机器人识别定位方法 Pending CN112434559A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011153317.0A CN112434559A (zh) 2020-10-26 2020-10-26 一种机器人识别定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011153317.0A CN112434559A (zh) 2020-10-26 2020-10-26 一种机器人识别定位方法

Publications (1)

Publication Number Publication Date
CN112434559A true CN112434559A (zh) 2021-03-02

Family

ID=74696023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011153317.0A Pending CN112434559A (zh) 2020-10-26 2020-10-26 一种机器人识别定位方法

Country Status (1)

Country Link
CN (1) CN112434559A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113184767A (zh) * 2021-04-21 2021-07-30 湖南中联重科智能高空作业机械有限公司 高空作业平台导航方法、装置、设备及高空作业平台
CN113569729A (zh) * 2021-07-27 2021-10-29 广联达科技股份有限公司 高处作业场景的检测方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034272A (zh) * 2018-08-24 2018-12-18 中国南方电网有限责任公司超高压输电公司检修试验中心 一种输电线路发热部件自动识别方法
CN109794948A (zh) * 2019-03-04 2019-05-24 北京国电富通科技发展有限责任公司 配网带电作业机器人及识别定位方法
US20200166340A1 (en) * 2018-11-28 2020-05-28 Hexagon Technology Center Gmbh Intelligent positioning module
CN111739063A (zh) * 2020-06-23 2020-10-02 郑州大学 一种基于多传感器融合的电力巡检机器人定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034272A (zh) * 2018-08-24 2018-12-18 中国南方电网有限责任公司超高压输电公司检修试验中心 一种输电线路发热部件自动识别方法
US20200166340A1 (en) * 2018-11-28 2020-05-28 Hexagon Technology Center Gmbh Intelligent positioning module
CN109794948A (zh) * 2019-03-04 2019-05-24 北京国电富通科技发展有限责任公司 配网带电作业机器人及识别定位方法
CN111739063A (zh) * 2020-06-23 2020-10-02 郑州大学 一种基于多传感器融合的电力巡检机器人定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113184767A (zh) * 2021-04-21 2021-07-30 湖南中联重科智能高空作业机械有限公司 高空作业平台导航方法、装置、设备及高空作业平台
CN113569729A (zh) * 2021-07-27 2021-10-29 广联达科技股份有限公司 高处作业场景的检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108960211B (zh) 一种多目标人体姿态检测方法以及***
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN107358629B (zh) 一种基于目标识别的室内建图与定位方法
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量***和方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN107507277B (zh) 三维点云重构方法和装置、服务器及可读存储介质
CN112802124B (zh) 多台立体相机的标定方法及装置、电子设备及存储介质
CN104677277B (zh) 一种测量物体几何属性或距离的方法及***
CN111145232A (zh) 一种基于特征信息变化度的三维点云自动配准方法
CN107490356B (zh) 一种非合作目标旋转轴和旋转角测量方法
CN114119864A (zh) 一种基于三维重建与点云匹配的定位方法和装置
CN107492107B (zh) 基于平面与空间信息融合的物体识别与重建方法
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111536981B (zh) 一种嵌入式的双目非合作目标相对位姿测量方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN112434559A (zh) 一种机器人识别定位方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN112418250B (zh) 一种复杂3d点云的优化匹配方法
CN113902852A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN113393413B (zh) 基于单目与双目视觉协同的水域面积测量方法和***
CN113436262A (zh) 一种基于视觉的车辆目标位置和姿态角度的检测方法
CN117197245A (zh) 一种位姿修复方法及装置
CN111768448A (zh) 一种基于多相机检测的空间坐标系标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230926

Address after: Room 101, Building 13, No.1 Gongye North Fourth Road, Songshan Lake Park, Dongguan City, Guangdong Province, 523000

Applicant after: DONGGUAN DALIN AUTOMATION TECHNOLOGY Co.,Ltd.

Address before: 523808 factory building 1 / F, building 13, small and medium sized science and technology enterprise Pioneer Park, North Industrial City, Songshanhu high tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant before: GUANGDONG HORBAO ROBOT TECHNOLOGY Co.,Ltd.