CN115063483B - 一种基于2d图像识别的模板姿态修正方法及*** - Google Patents

一种基于2d图像识别的模板姿态修正方法及*** Download PDF

Info

Publication number
CN115063483B
CN115063483B CN202210668357.1A CN202210668357A CN115063483B CN 115063483 B CN115063483 B CN 115063483B CN 202210668357 A CN202210668357 A CN 202210668357A CN 115063483 B CN115063483 B CN 115063483B
Authority
CN
China
Prior art keywords
template
pose
identification
target image
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210668357.1A
Other languages
English (en)
Other versions
CN115063483A (zh
Inventor
吴凌云
吴志诚
陈志满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Tiantai Robot Co Ltd
Original Assignee
Guangdong Tiantai Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Tiantai Robot Co Ltd filed Critical Guangdong Tiantai Robot Co Ltd
Priority to CN202210668357.1A priority Critical patent/CN115063483B/zh
Publication of CN115063483A publication Critical patent/CN115063483A/zh
Application granted granted Critical
Publication of CN115063483B publication Critical patent/CN115063483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的在于提出一种基于2d图像识别的模板姿态修正方法及***。其中一种基于2d图像识别的模板姿态修正方法，包括以下步骤：步骤S1：对于与模板相似度达到阈值的目标图像进行提取，并获取目标图像的第一识别特征点，将目标图像以及第一识别特征点的位置进保存；步骤S2：获取模板中第二识别特征点，并与第一识别特征点进行关联；步骤S3：获取关联后的第一识别特征点与第二识别特征点之间的距离，若满足距离阈值要求，则获取满足距离阈值第一识别特征的数量，并判断数量是否满足数量阈值，若满足，则通过变化矩阵修正模板的位姿，使模板的位姿向目标图像的位姿靠拢，为后续操作提供精准的特殊点，提高机械臂的操作精度。

Description

一种基于2d图像识别的模板姿态修正方法及***
技术领域
本发明涉及图像识别技术领域，特别是一种基于2d图像识别的模板姿态修正方法及***。
背景技术
在图像识别领域中，用户通常会使用训练好的模型以及模板对所需要识别的目标进行识别。在识别确认后，用户会对启动机器人对目标进行相关的操作，例如对目标进行抓取操作。在进行相关操作前，需要定位目标相关的特殊点。在现有技术中，通常会使用与目标位姿最接近的模板对目标进行识别，然后再模板上定位特殊点，将模板上的特殊点位置发生给机械臂进行相关操作。但是由于模板的位姿与目标的位姿不完全一致，导致了特殊点的定位存在有偏差，导致了机械臂的操作精度降低，无法实现精细化的操作。
发明内容
针对上述缺陷，本发明的目的在于提出一种基于2d图像识别的模板姿态修正方法及***，使模板的位姿无限接近目标图像的位姿，为后续操作提供精准的特殊点，提高机械臂的操作精度。
为达此目的，本发明采用以下技术方案：一种基于2d图像识别的模板姿态修正方法，包括以下步骤：
步骤S1：对于与模板相似度达到阈值的目标图像进行提取，并获取目标图像的第一识别特征点，将目标图像以及第一识别特征点的位置进行保存；
步骤S2：获取模板中第二识别特征点，并与第一识别特征点进行关联；
步骤S3：获取关联后的第一识别特征点与第二识别特征点之间的距离，并判断相关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值，若满足，则获取满足距离阈值第一识别特征点的数量，并判断数量是否满足数量阈值，若满足，则通过变化矩阵修正所述模板的位姿，使模板的位姿向所述目标图像的位姿靠拢。
优选的，所述步骤S1的具体步骤如下：
步骤S11：通过Canny算子收集目标图像的边缘点集；
步骤S12：对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
步骤S13：对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
优选的，所述步骤S3中获取关联后的第一识别特征点与第二识别特征点之间的距离的步骤如下：
获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识别特征点之间的距离。
优选的，变化矩阵包括平移矩阵以及旋转矩阵，其中步骤S3中通过变化矩阵修改所述模板的位姿的步骤如下：
步骤S31：通过平移矩阵以及旋转矩阵对模板进行的位置修正方法如下，目标函数如下公式一所示：
Figure GDA0004031394080000021
其中R为旋转矩阵，
Figure GDA0004031394080000022
为平移矩阵，qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标，ni为特征向量，i为大于1的自然整数；
步骤S32：对偏转的角度r取最小，所述旋转矩阵R获得最小值，最小值的旋转矩阵R如下公式二所示：
Figure GDA0004031394080000031
将最小值的旋转矩阵R代入目标函数中获取最小的目标函数，最小的目标函数公式三如下：
Figure GDA0004031394080000032
其中ci＝pi×ni；
对公式三求偏导，并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y，其过程如下：
偏导公式四如下：
Figure GDA0004031394080000033
Figure GDA0004031394080000034
Figure GDA0004031394080000035
转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下：
Figure GDA0004031394080000036
优选的，还包括步骤S4，所述步骤S4如下：
获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，重复步骤3，直到修改次数大于次数阈值或满足距离阈值第一识别特征点的数量不满足数量阈值，不再对模板进行修正。
一种基于2d图像识别的模板姿态修正***，上述一种基于2d图像识别的模板姿态修正方法，包括：目标图像提取模块、第一识别特征点提取模块、第二特征点提取模块、距离阈值判断模块、数量判断模块和模板修正模块；
目标图像提取模块用于在图像中将所述目标图像提取出来；
所述第一识别特征点提取模块用于提取目标图像中的识别特征；
所述第二识别特征点提取模块用于提取模板中的识别特征；
距离阈值判断模块用于判断关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值；
所述数量判断模块用于取满足距离阈值第一识别特征点的数量，并判断满足距离阈值第一识别特征点的数量是否满足数量阈值；
所述模板修正模块用于通过变化矩阵修正所述模板的位姿，使模板向所述目标图像靠拢。
优选的，所述目标图像提取模块包括边缘点集获取子模块、边缘点集运输子模块以及亚像素提取模块；
所述边缘点集获取子模块用于通过Canny算子收集目标图像的边缘点集；
所述边缘点集运输子模块用于对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
所述亚像素提取模块用于对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
优选的，距离阈值判断模块包括距离获取子模块；
所述距离获取子模块用于获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识别特征点之间的距离。
优选的，还包括迭代修正次数模块，所述迭代修正次数模块用于获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，若大于次数阈值则不再对模板进行修正。
上述技术方案中的一个技术方案具有如下优点或有益效果：本申请将目标图像提取出来后，在通过第一识别特征点与第二识别特征点之间的关联性，使用变化矩阵获取第二识别特征点平移至第一识别特征点的距离以及角度，使模板的位姿无限接近目标图像，为后续操作提供精准的特殊点，提高机械臂的操作精度。
附图说明
图1是本发明方法的一个实施例的流程示意图；
图2是本发明***的一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1～2所示，一种基于2d图像识别的模板姿态修正方法，包括以下步骤：
步骤S1：对于与模板相似度达到阈值的目标图像进行提取，并获取目标图像的第一识别特征点，将目标图像以及第一识别特征点的位置进行保存；
步骤S2：获取模板中第二识别特征点，并与第一识别特征点进行关联；
步骤S3：获取关联后的第一识别特征点与第二识别特征点之间的距离，并判断相关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值，若满足，则获取满足距离阈值第一识别特征点的数量，并判断数量是否满足数量阈值，若满足，则通过变化矩阵修正所述模板的位姿，使模板的位姿向所述目标图像的位姿靠拢。
通过将所述目标图像进行提取，在提取后可以明确目标图像的边缘。在后续模板位姿的修正过程中，能够更加精准判断模板的位姿是否与目标图像的位姿贴近。随后获取所述目标图像的第一识别特征点以及模板上第二识别特征点。所述第一识别特征点与第二识别特征点可以取在模板与目标图像匹配时的匹配点，也可以取模板和目标图像的边缘点。当使用匹配点作为第一识别特征点与第二识别特征点时，由于匹配时两者的匹配点是相关联一一配对的，无需再进行关联操作，方便使用。当使用边缘点作为第一识别特征点与第二识别特征点时，使用边缘点进行修正能够更加清楚模板修正的程度，但是需要对第一识别特征点与第二识别特征点进行关联。在本申请的一个实施例中，所述第一识别特征点与第二识别特征点为7：3比例的匹配点与边缘点的混合点集。此比例能够减少挑出边缘点以及关联边缘点的时间，同时大量的匹配点能够保证模板位姿修正的精准度。
随后获取关联后一一对应的第一识别特征点与第二识别特征点的距离，并判断该距离是否大于距离阈值。只有当大于距离阈值时，才能说明，目标图像的位姿与模板的位姿相差大，需要对模板的位姿进行修正。获取完所有满足距离阈值的第一识别特征点与第二识别特征点后，统计第一识别特征点与第二识别特征点的数量，当该数量是否满足数量阈值后才对模板进行修正。因为第一识别特征点与第二识别特征点虽然是相互关联在位姿上是对应的，但是有可能所述第一识别特征点是旋转边缘点，而相关联边缘点在位姿上是相接近的，模板位姿接近目标图像后，第一识别特征点与第二识别特征点还是满足距离阈值的要求。如果单纯只采用距离阈值来判断是否需要进行模板位姿修改的话，会模板的位姿会一直进行修正，浪费***的运行资源。
当确认模板的位姿需要进行修正后，使用变化矩阵计算模板位姿到目标图像位姿的平移距离以及旋转角度，使用该平移距离以及旋转角度对目标进行修正，使模板的位姿向所述目标图像的位姿靠拢。
优选的，所述步骤S1的具体步骤如下：
步骤S11：通过Canny算子收集目标图像的边缘点集；
步骤S12：对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
步骤S13：对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
通过Canny算子实现检测图像边缘点集，随后拟合二元二次多项式，利用facet模型求解系数，得到Hessian矩阵，由此求解到特征值和特征向量，特征向量即为第二识别特征点的方向矢量，再有泰勒展开式求导，结合点方向矢量，求得相应亚像素点，如此循环求得相应亚像素点集和方向矢量点集，保存在kdtree数据结构体相应位置。通过构建KDTree算法，将kdtree数据结构中的亚像素点集和方向矢量点集存储顺序与KDTree树的叶子节点建立关联，即改变原先的亚像素和点方向矢量的在数据结构中的存储顺序。另外本申请中提取边缘的亚像素点，对目标图像进行提取。亚像素的边缘点更加能提高边缘的清晰度，提取的目标图像会更加精准，而目标图像上的边缘点或者特征点也会更加精准。
优选的，所述步骤S3中获取关联后的第一识别特征点与第二识别特征点之间的距离的步骤如下：
获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识别特征点之间的距离。
优选的，变化矩阵包括平移矩阵以及旋转矩阵，其中步骤S3中通过变化矩阵修改所述模板的位姿的步骤如下：
步骤S31：通过平移矩阵以及旋转矩阵对模板进行的位置修正方法如下，目标函数如下公式一所示：
Figure GDA0004031394080000091
其中R为旋转矩阵，
Figure GDA0004031394080000092
为平移矩阵，qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标，ni为特征向量，i为大于1的自然整数；
步骤S32：对偏转的角度r取最小，所述旋转矩阵R获得最小值，最小值的旋转矩阵R如下公式二所示：
Figure GDA0004031394080000093
将最小值的旋转矩阵R代入目标函数中获取最小的目标函数，最小的目标函数公式三如下：
Figure GDA0004031394080000094
其中ci＝pi×ni；
对公式三求偏导，并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y，其过程如下：
偏导公式四如下：
Figure GDA0004031394080000095
Figure GDA0004031394080000096
Figure GDA0004031394080000097
转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下：
Figure GDA0004031394080000101
优选的，还包括步骤S4，所述步骤S4如下：
获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，重复步骤3，直到修改次数大于次数阈值或满足距离阈值第一识别特征点的数量不满足数量阈值，不再对模板进行修正。
在本申请还设置所述次数阈值用于终结模板修正才次数，由于在算法上，模板的位姿只能无限接近目标图像的位姿，在有限次修正后，模板的位姿已经非常接近目标图像的位姿。在模板上提取的点也能非常接近目标图像对应点。再对模板的位姿进行修正就是浪费内存资源。由于本申请运用于2d图像中，模板与目标图像之间存在线型关系，所以本申请的理论算法为AX＝B，X为线型关系，即变化举证。在进行一次位姿修正后，所述X＝*X，使用当前的X乘以上一次的X，对变化举证进行更新，以提高变化矩阵对于该模板位姿修正的精准度。
一种基于2d图像识别的模板姿态修正***，上述一种基于2d图像识别的模板姿态修正方法，包括：目标图像提取模块、第一识别特征点提取模块、第二特征点提取模块、距离阈值判断模块、数量判断模块和模板修正模块；
目标图像提取模块用于在图像中将所述目标图像提取出来；
所述第一识别特征点提取模块用于提取目标图像中的识别特征；
所述第二识别特征点提取模块用于提取模板中的识别特征；
距离阈值判断模块用于判断关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值；
所述数量判断模块用于取满足距离阈值第一识别特征点的数量，并判断满足距离阈值第一识别特征点的数量是否满足数量阈值；
所述模板修正模块用于通过变化矩阵修正所述模板的位姿，使模板向所述目标图像靠拢。
优选的，所述目标图像提取模块包括边缘点集获取子模块、边缘点集运输子模块以及亚像素提取模块；
所述边缘点集获取子模块用于通过Canny算子收集目标图像的边缘点集；
所述边缘点集运输子模块用于对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
所述亚像素提取模块用于对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
优选的，距离阈值判断模块包括距离获取子模块；
所述距离获取子模块用于获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识别特征点之间的距离。
优选的，还包括迭代修正次数模块，所述迭代修正次数模块用于获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，若大于次数阈值则不再对模板进行修正。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于2d图像识别的模板姿态修正方法，其特征在于：包括以下步骤：
步骤S1：对于与模板相似度达到阈值的目标图像进行提取，并获取目标图像的第一识别特征点，将目标图像以及第一识别特征点的位置进行保存；
步骤S2：获取模板中第二识别特征点，并与第一识别特征点进行关联；
步骤S3：获取关联后的第一识别特征点与第二识别特征点之间的距离，并判断相关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值，若满足，则获取满足距离阈值第一识别特征点的数量，并判断数量是否满足数量阈值，若满足，则通过变化矩阵修正所述模板的位姿，使模板的位姿向所述目标图像的位姿靠拢；
变化矩阵包括平移矩阵以及旋转矩阵，其中步骤S3中通过变化矩阵修改所述模板的位姿的步骤如下：
步骤S31：通过平移矩阵以及旋转矩阵对模板进行的位置修正方法如下，目标函数如下公式一所示：
Figure FDA0004094868450000011
其中R为旋转矩阵，
Figure FDA0004094868450000012
为平移矩阵，qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标，ni为特征向量，i为大于1的自然整数；
步骤S32：对偏转的角度r取最小，所述旋转矩阵R获得最小值，最小值的旋转矩阵R如下公式二所示：
Figure FDA0004094868450000013
将最小值的旋转矩阵R代入目标函数中获取最小的目标函数，最小的目标函数公式三如下：
Figure FDA0004094868450000021
其中ci＝pi×ni；
对公式三求偏导，并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y，其过程如下：
偏导公式四如下：
Figure FDA0004094868450000022
Figure FDA0004094868450000023
Figure FDA0004094868450000024
转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下：
Figure FDA0004094868450000025
2.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法，其特征在于：所述步骤S1的具体步骤如下：
步骤S11：通过Canny算子收集目标图像的边缘点集；
步骤S12：对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
步骤S13：对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
3.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法，其特征在于：所述步骤S3中获取关联后的第一识别特征点与第二识别特征点之间的距离的步骤如下：
获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识别特征点之间的距离。
4.根据权利要求1所述的一种基于2d图像识别的模板姿态修正方法，其特征在于：还包括步骤S4，所述步骤S4如下：
获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，重复步骤3，直到修改次数大于次数阈值或满足距离阈值第一识别特征点的数量不满足数量阈值，不再对模板进行修正。
5.一种基于2d图像识别的模板姿态修正***，使用权利要求1～4任一项所述一种基于2d图像识别的模板姿态修正方法，其特征在于，包括：目标图像提取模块、第一识别特征点提取模块、第二特征点提取模块、距离阈值判断模块、数量判断模块和模板修正模块；
目标图像提取模块用于在图像中将所述目标图像提取出来；
所述第一识别特征点提取模块用于提取目标图像中的识别特征；
所述第二识别特征点提取模块用于提取模板中的识别特征；
距离阈值判断模块用于判断关联的第一识别特征点与第二识别特征点之间的距离是否满足距离阈值；
所述数量判断模块用于取满足距离阈值第一识别特征点的数量，并判断满足距离阈值第一识别特征点的数量是否满足数量阈值；
所述模板修正模块用于通过变化矩阵修正所述模板的位姿，使模板向所述目标图像靠拢。
6.根据权利要求5所述的一种基于2d图像识别的模板姿态修正***，其特征在于：所述目标图像提取模块包括边缘点集获取子模块、边缘点集运输子模块以及亚像素提取模块；
所述边缘点集获取子模块用于通过Canny算子收集目标图像的边缘点集；
所述边缘点集运输子模块用于对边缘点集进行二元二次多项式拟合，通过facet模型求解二元二次多项式，得到Hessian矩阵；
所述亚像素提取模块用于对Hessian矩阵求解到边缘点集的特征值和特征向量，在通过泰勒展开式对特征值进行求导，得出边缘点集的亚像素，通过亚像素对目标图像进行提取。
7.根据权利要求5所述的一种基于2d图像识别的模板姿态修正***，其特征在于：距离阈值判断模块包括距离获取子模块；
所述距离获取子模块用于获取第一识别特征点的切线，对第一识别特征点的切线做垂线，该垂线连接所述第二识别特征点，计算所述垂线的长度，所述垂线的长度为所述第一识别特征点与第二识别特征点之间的距离。
8.根据权利要求5所述的一种基于2d图像识别的模板姿态修正***，其特征在于：还包括迭代修正次数模块，所述迭代修正次数模块用于获取当前模板位姿的修改次数，并判断修改次数是否大于次数阈值，若小于次数阈值，则使用上一次变化矩阵对变化矩阵进行更新，使用更新后的变化矩阵再次对模板的位姿进行修正，若大于次数阈值则不再对模板进行修正。
CN202210668357.1A 2022-06-14 2022-06-14 一种基于2d图像识别的模板姿态修正方法及*** Active CN115063483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210668357.1A CN115063483B (zh) 2022-06-14 2022-06-14 一种基于2d图像识别的模板姿态修正方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210668357.1A CN115063483B (zh) 2022-06-14 2022-06-14 一种基于2d图像识别的模板姿态修正方法及***

Publications (2)

Publication Number Publication Date
CN115063483A CN115063483A (zh) 2022-09-16
CN115063483B true CN115063483B (zh) 2023-04-11

Family

ID=83201145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210668357.1A Active CN115063483B (zh) 2022-06-14 2022-06-14 一种基于2d图像识别的模板姿态修正方法及***

Country Status (1)

Country Link
CN (1) CN115063483B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648194A (zh) * 2018-04-23 2018-10-12 清华大学 基于cad模型三维目标识别分割和位姿测量方法及装置
CN111311679A (zh) * 2020-01-31 2020-06-19 武汉大学 一种基于深度相机的自由漂浮目标位姿估计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845435A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种基于实物检测追踪算法的扩增实境技术实现方法
CN109919141A (zh) * 2019-04-09 2019-06-21 广东省智能制造研究所 一种基于骨架姿态的行人再识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648194A (zh) * 2018-04-23 2018-10-12 清华大学 基于cad模型三维目标识别分割和位姿测量方法及装置
CN111311679A (zh) * 2020-01-31 2020-06-19 武汉大学 一种基于深度相机的自由漂浮目标位姿估计方法

Also Published As

Publication number Publication date
CN115063483A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN110853100B (zh) 一种基于改进点线特征的结构化场景视觉slam方法
CN108389250B (zh) 基于点云数据快速生成建筑物断面图的方法
CN109165680B (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN104778688A (zh) 点云数据的配准方法及装置
CN110738618B (zh) 一种基于双目相机的不规则堆料体积测量方法
CN114792373B (zh) 一种工业机器人的视觉识别喷涂方法及***
CN112484746B (zh) 一种基于地平面的单目视觉辅助激光雷达里程计方法
CN107316328B (zh) 一种基于二维激光扫描仪角点特征的闭环检测方法
CN112581368B (zh) 一种基于最优图匹配的多机器人栅格地图拼接方法
CN108364257A (zh) 三维扫描点云数据的拼接方法及***
CN114494462A (zh) 一种基于Yolov5和改进跟踪算法的双目相机测距方法
CN115063483B (zh) 一种基于2d图像识别的模板姿态修正方法及***
CN115147833A (zh) 一种零部件位姿识别方法及***
Li et al. 4FP-structure: A robust local region feature descriptor
CN114769021A (zh) 一种基于全角度模板识别的机器人喷涂***及方法
CN110906902A (zh) 一种边坡变形监测数据两步改正方法
CN114986051B (zh) 一种基于模板识别的工业机器人焊接控制***及方法
CN108520533B (zh) 一种面向工件定位的多维度特征配准方法
JP2008224641A (ja) カメラ姿勢推定システム
CN115049860B (zh) 一种基于特征点识别的***及抓取方法
CN115026823A (zh) 一种基于坐标焊接的工业机器人控制方法以及***
JP2007179236A (ja) 画像生成装置及び方法
CN112651427A (zh) 宽基线光学交会测量的像点快速高效匹配方法
CN115026822B (zh) 一种基于特征点对接的工业机器人控制***及方法
CN114986393A (zh) 一种自动纠偏的抛光打磨机械臂控制***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant