CN110363801A - 工件实物与工件三维cad模型的对应点匹配方法 - Google Patents

工件实物与工件三维cad模型的对应点匹配方法 Download PDF

Info

Publication number
CN110363801A
CN110363801A CN201910600519.6A CN201910600519A CN110363801A CN 110363801 A CN110363801 A CN 110363801A CN 201910600519 A CN201910600519 A CN 201910600519A CN 110363801 A CN110363801 A CN 110363801A
Authority
CN
China
Prior art keywords
workpiece
material object
point
cad model
workpiece material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910600519.6A
Other languages
English (en)
Other versions
CN110363801B (zh
Inventor
景岩
梁桉洋
康承飞
秦伟铭
陈昱杉
夏浩
张梦婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Silk Road Robot Intelligent Manufacturing Research Institute Co Ltd
Original Assignee
Shaanxi Silk Road Robot Intelligent Manufacturing Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Silk Road Robot Intelligent Manufacturing Research Institute Co Ltd filed Critical Shaanxi Silk Road Robot Intelligent Manufacturing Research Institute Co Ltd
Priority to CN201910600519.6A priority Critical patent/CN110363801B/zh
Publication of CN110363801A publication Critical patent/CN110363801A/zh
Application granted granted Critical
Publication of CN110363801B publication Critical patent/CN110363801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

提供一种工件实物与工件三维CAD模型的对应点匹配方法，本发明通过计算各个视图中工件照片轮廓，采用三维扩充的方式得到空间坐标点，取各个坐标的极值点为关键点，在三维CAD模型中同样选取各个坐标轴上的极值点，利用余弦定理分别计算工件三维CAD模型中的关键点的两两夹角,作为结构化依据，并对工件实物上的关键点做相同处理，遍历集合，得到两者误差最小的匹配方式，从而计算出两者转化矩阵，三维CAD模型点与转化矩阵相乘，得到实物中的关键点坐标，实现了工件三维CAD模型和工件实物上任意点映射关系的直观匹配。本发明对加工位置的计算不受工件实物摆放位置、旋转角度的影响，提高了工件实物与三维CAD模型对应点匹配速度和匹配精度。

Description

工件实物与工件三维CAD模型的对应点匹配方法
技术领域
本发明属于零件数字化技术领域，具体涉及一种工件实物与工件三维CAD模型的对应点匹配方法。
背景技术
计算机辅助设计CAD已经广泛应用在各个领域，尤其是在工业设计中，CAD的发展使得工业产品设计流程更加标准、更加高效。在目前的产品生产流程中，产品设计方通过工程制图的方式，得到产品的三维CAD模型，再交给工厂加工生产。在工件实物进行加工时，一般现在主要依赖技术操作人员对CAD图纸模型的理解，进行加工生产，没有有效的工具来反映工件实物与CAD模型间的逐点对应关系，使工件实物上的加工位置和三维CAD模型上的加工位置不能达到准确高效的匹配对应。其中，申请号为“201610303972.7”，名称为“基于检测特征的点云模型与CAD模型的配准方法”的专利文件公开了一种配准方法，此专利是通过计算CAD模型上与工件实物上匹配点的重心，建立坐标系，通过矩阵数据运算得到旋转矩阵，从高斯曲率突变点选取点，通过ICP算法计算CAD模型上与选取点对应的匹配点，将点云坐标按照旋转矩阵旋转，将点云中的点构成候选点集，通过逐点遍历的方式进行匹配。但是此专利中需要对CAD模型进行分割，计算速度慢，主要针对点云模型，对拍摄要求较高。因此有必要提出改进。
发明内容
本发明解决的技术问题：提供一种工件实物与工件三维CAD模型的对应点匹配方法，本发明通过计算各个视图中工件照片轮廓，采用三维扩充的方式得到空间坐标点，取各个坐标的极值点为关键点，在件三维CAD模型中同样选取各个坐标轴上的极值点，利用余弦定理分别计算工件三维CAD模型中的关键点的两两夹角,作为结构化依据，并对工件实物上的关键点做相同处理，遍历集合，得到两者误差最小的匹配方式，从而计算出两者转化矩阵，工件三维CAD模型点与转化矩阵相乘，得到工件实物中的关键点坐标，实现了工件三维CAD模型和工件实物上任意点映射关系的直观匹配，使加工位置的计算不受工件摆放位置、旋转角度的影响，提高了两者对应点匹配速度和匹配精度。
本发明采用的技术方案：工件实物与工件三维CAD模型的对应点匹配方法，将工件三维CAD模型上的任意点通过坐标映射关系直观匹配到工件实物上，反之，将工件实物上的任意点通过坐标映射关系直观的匹配到工件三维CAD模型上，具体包括以下步骤；
1)在工位上架设相机，建立工位正交坐标系，以工位上的一点为原点，计算相机的坐标；
2)通过相机拍摄工位的实际背景，形成背景视图；将工件实物放置在工位上，通过相机拍摄工件实物的实际照片，形成工件视图；
3)采用计算机***打开步骤2)中拍摄的视图照片，使用工件视图与背景视图的深度矩阵差值，得到工件实物在对应背景视图上的轮廓；
4)使用矩阵拼接的方式，计算工件实物在工位坐标中的各个坐标位置；
5)对工件实物坐标位置在工位坐标的X,Y,Z三轴上分别取max与min，得到工件实物最外侧轮廓的角点坐标；
6)在工件实物上任选一个角点为基准点，按顺时针或者逆时针的顺序计算其他各个角点到该角点的距离，并对距离进行单位化；
7)通过余玄定理计算工件实物上基准点与其余任意两个角点的夹角；
8)在工件三维CAD模型上以一角点为基准，按照与步骤6)中相同的顺序，计算三维CAD模型基准点与其余两点间的夹角，依次跟换基准点；
9)计算工件实物和工件三维CAD模型相对应夹角误差均值MAE，选取夹角误差均值MAE中最小的基准点作为工件实物中的基准点；
10)以步骤9)中得到的工件实物中的基准点，计算出工件三维CAD模型与工件实物的转化矩阵，通过工件三维CAD模型上的点与转化矩阵相乘，得到工件实物上的真实位置。
述步骤1)中，当所述相机采用普通相机时，分别在工位上方、工位正前侧和工位左侧方安装相机，对应的上述步骤2)中，形成的背景视图包含背景主视图、背景俯视图、背景左视图，形成的工件视图包含工件主视图、工件俯视图、工件左视图；上述步骤1)中，当所述相机采用激光点云相机时，只在工位上方安装相机，对应的上述步骤2)中，即形成一张激光点云背景视图，一张激光点云工件视图。
上述步骤5)和6)中，当工件实物为立方体时共8个角点，其余形状工件实物的角点个数都少于8；上述步骤7)中，8个角点对应的夹角为C2 8-1＝21个。
本发明与现有技术相比的优点：
1、本方案中通过计算各个视图中工件照片轮廓，采用三维扩充的方式得到空间坐标点，取各个坐标的极值点为关键点，在工件三维CAD模型中同样选取各个坐标轴上的极值点，利用余弦定理分别计算工件三维CAD模型中的关键点的两两夹角,作为结构化依据，并对工件实物上的关键点做相同处理，遍历集合，得到两者误差最小的匹配方式，从而计算出两者转化矩阵，工件三维CAD模型点与转化矩阵相乘，得到实物中的关键点坐标，实现了工件三维CAD模型和工件实物上任意点映射关系的直观匹配，使加工位置的计算不受工件摆放位置、旋转角度的影响，提高了两者对应点匹配速度和匹配精度，使匹配速度控制在0.5秒之内，相比于现有技术，使匹配效率大大提高；
2、本方案中利用了图像恢复技术，对图像精度要求不高，适用于二维和三维模型与工件实物的对应点匹配，扩大了使用范围。
具体实施方式
下面结合描述本发明的较佳实施例，以详细说明本发明的技术方案，但并不因此将本发明限制在所述的实施例范围之中。
工件实物与工件三维CAD模型的对应点匹配方法，包含点与点，线与线，面与面的对应关系，将工件三维CAD模型上的任意点通过坐标映射关系直观匹配到工件实物上，反之，将工件实物上的任意点通过坐标映射关系直观的匹配到工件三维CAD模型上。其目的是：任意在工件三维CAD模型上标注待加工点、待加工线或待加工面，可以通过拍照的方式计算工件实物上的加工位置，转化为工件实物上的对应坐标。具体包括以下步骤；
1)在工位上架设相机，此处的相机可以根据要求选取，并且不同的相机在工位上的安装位置要求不同，具体如下：当所述相机采用普通相机时，分别在工位上方、工位正前侧和工位左侧方安装相机，当所述相机采用激光点云相机时，只在工位上方安装相机。接着建立工位正交坐标系，以工位上的一点为原点，计算相机的坐标；
2)通过相机拍摄工位的实际背景，形成背景视图；将工件实物放置在工位上，通过相机拍摄工件实物的实际照片，形成工件视图。当所述相机采用普通相机时，由于工位三方位安装相机，背景视图包含背景主视图、背景俯视图、背景左视图，工件视图包含工件主视图、工件俯视图、工件左视图；当所述相机采用激光点云相机时，只在工位上方安装相机，即形成一张激光点云背景视图，一张激光点云工件视图；
3)采用计算机***打开步骤2)中拍摄的视图照片，使用工件视图与背景视图的深度矩阵差值，得到工件在对应背景视图上的轮廓；
4)使用矩阵拼接的方式，计算工件实物在工位坐标中的各个坐标位置；
5)对工件实物坐标位置在工位坐标的X,Y,Z三轴上分别取max与min，得到工件实物最外侧轮廓的角点坐标；当工件实物为立方体时共8个角点，其余形状工件实物的角点个数都少于8；
6)在工件实物上任选一个角点为基准点，按顺时针或者逆时针的顺序计算其他各个角点到该角点的距离，并对距离进行单位化；
7)通过余玄定理计算工件实物上基准点与其余任意两个角点的夹角；其中立方体的工件实物8个角点对应的夹角为C2 8-1＝21个，其余形状的工件实物的夹角个数都少于21；
8)在工件三维CAD模型上以一角点为基准，按照与步骤6)中相同的顺序，计算三维CAD模型基准点与其余两点间的夹角，依次跟换基准点；
9)计算工件实物和工件三维CAD模型相对应夹角误差均值MAE，选取夹角误差均值MAE中最小的基准点作为工件实物中的基准点；
10)以步骤9)中得到的工件实物中的基准点，计算出工件三维CAD模型与工件实物的转化矩阵，通过工件三维CAD模型上的点与转化矩阵相乘，得到工件实物上的真实位置。
本发明通过计算各个视图中工件照片轮廓，采用三维扩充的方式得到空间坐标点，取各个坐标的极值点为关键点，在工件三维CAD模型中同样选取各个坐标轴上的极值点，利用余弦定理分别计算工件三维CAD模型中的关键点的两两夹角,作为结构化依据，并对工件实物上的关键点做相同处理，遍历集合，得到两者误差最小的匹配方式，从而计算出两者转化矩阵，三维CAD模型与转化矩阵相乘，得到实物中的关键点坐标，实现了工件三维CAD模型和工件实物上任意点映射关系的直观匹配，使加工位置的计算不受工件摆放位置、旋转角度的影响，提高了两者对应点匹配速度和匹配精度。
上述实施例，只是本发明的较佳实施例，并非用来限制本发明实施范围，故凡以本发明权利要求所述内容所做的等效变化，均应包括在本发明权利要求范围之内。

Claims (3)

1.工件实物与工件三维CAD模型的对应点匹配方法，其特征在于：将工件三维CAD模型上的任意点通过坐标映射关系直观匹配到工件实物上，反之，将工件实物上的任意点通过坐标映射关系直观的匹配到工件三维CAD模型上，具体包括以下步骤；
1)在工位上架设相机，建立工位正交坐标系，以工位上的一点为原点，计算相机的坐标；
2)通过相机拍摄工位的实际背景，形成背景视图；将工件实物放置在工位上，通过相机拍摄工件实物的实际照片，形成工件视图；
3)采用计算机***打开步骤2)中拍摄的视图照片，使用工件视图与背景视图的深度矩阵差值，得到工件实物在对应背景视图上的轮廓；
4)使用矩阵拼接的方式，计算工件实物在工位坐标中的各个坐标位置；
5)对工件实物坐标位置在工位坐标的X,Y,Z三轴上分别取max与min，得到工件实物最外侧轮廓的角点坐标；
6)在工件实物上任选一个角点为基准点，按顺时针或者逆时针的顺序计算其他各个角点到该角点的距离，并对距离进行单位化；
7)通过余玄定理计算工件实物上基准点与其余任意两个角点的夹角；
8)在工件三维CAD模型上以一角点为基准，按照与步骤6)中相同的顺序，计算三维CAD模型基准点与其余两点间的夹角，依次跟换基准点；
9)计算工件实物和工件三维CAD模型相对应夹角误差均值MAE，选取夹角误差均值MAE中最小的基准点作为工件实物中的基准点；
10)以步骤9)中得到的工件实物中的基准点，计算出工件三维CAD模型与工件实物的转化矩阵，通过工件三维CAD模型上的点与转化矩阵相乘，得到工件实物上的真实位置。
2.根据权利要求1所述的工件实物与工件三维CAD模型的对应点匹配方法，其特征在于：上述步骤1)中，当所述相机采用普通相机时，分别在工位上方、工位正前侧和工位左侧方安装相机，对应的上述步骤2)中，形成的背景视图包含背景主视图、背景俯视图、背景左视图，形成的工件视图包含工件主视图、工件俯视图、工件左视图；上述步骤1)中，当所述相机采用激光点云相机时，只在工位上方安装相机，对应的上述步骤2)中，即形成一张激光点云背景视图，一张激光点云工件视图。
3.根据权利要求1所述的工件实物与工件三维CAD模型的对应点匹配方法，其特征在于：上述步骤5)和6)中，当工件实物为立方体时共8个角点，其余形状工件实物的角点个数都少于8；上述步骤7)中，8个角点对应的夹角为个。
CN201910600519.6A 2019-07-04 2019-07-04 工件实物与工件三维cad模型的对应点匹配方法 Active CN110363801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910600519.6A CN110363801B (zh) 2019-07-04 2019-07-04 工件实物与工件三维cad模型的对应点匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910600519.6A CN110363801B (zh) 2019-07-04 2019-07-04 工件实物与工件三维cad模型的对应点匹配方法

Publications (2)

Publication Number Publication Date
CN110363801A true CN110363801A (zh) 2019-10-22
CN110363801B CN110363801B (zh) 2023-04-18

Family

ID=68218153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910600519.6A Active CN110363801B (zh) 2019-07-04 2019-07-04 工件实物与工件三维cad模型的对应点匹配方法

Country Status (1)

Country Link
CN (1) CN110363801B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240674A (zh) * 2021-07-09 2021-08-10 深圳市艾视铂智能技术有限公司 基于三维点云和二维图像融合的共面度检测方法
WO2022222114A1 (en) * 2021-04-22 2022-10-27 Abb Schweiz Ag Method and apparatus of determining point for processing workpiece
WO2022222115A1 (en) * 2021-04-22 2022-10-27 Abb Schweiz Ag Method and apparatus of determining point for processing workpiece

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法
US20180247147A1 (en) * 2017-02-28 2018-08-30 Quality Vision International, Inc. Automatic alignment of a 3d model to a test object
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
US20180247147A1 (en) * 2017-02-28 2018-08-30 Quality Vision International, Inc. Automatic alignment of a 3d model to a test object
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222114A1 (en) * 2021-04-22 2022-10-27 Abb Schweiz Ag Method and apparatus of determining point for processing workpiece
WO2022222115A1 (en) * 2021-04-22 2022-10-27 Abb Schweiz Ag Method and apparatus of determining point for processing workpiece
CN113240674A (zh) * 2021-07-09 2021-08-10 深圳市艾视铂智能技术有限公司 基于三维点云和二维图像融合的共面度检测方法

Also Published As

Publication number Publication date
CN110363801B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN109816703B (zh) 一种基于相机标定和icp算法的点云配准方法
CN109945853B (zh) 一种基于3d点云航拍图像的地理坐标定位***和方法
CN106204574B (zh) 基于目标平面运动特征的相机位姿自标定方法
CN105261060A (zh) 基于点云压缩和惯性导航的移动场景实时三维重构方法
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN103196370B (zh) 一种导管接头空间位姿参数的测量方法和装置
CN108288292A (zh) 一种三维重建方法、装置及设备
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及***
CN110363801A (zh) 工件实物与工件三维cad模型的对应点匹配方法
JP2009093611A (ja) 三次元オブジェクト認識のためのシステムおよび方法
CN104463969B (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
CN105118021A (zh) 基于特征点的图像配准方法及***
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN106097431A (zh) 一种基于三维栅格地图的物体整体识别方法
CN111768449B (zh) 一种双目视觉结合深度学习的物体抓取方法
TWI709062B (zh) 虛實疊合方法與系統
CN107462897A (zh) 基于激光雷达的三维建图的方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
Pathak et al. Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification
CN102914295A (zh) 基于计算机视觉立方体标定的三维测量方法
CN105469386A (zh) 一种确定立体相机高度与俯仰角的方法及装置
CN103985154A (zh) 一种基于全局线性方法的三维模型重建方法
CN116129037A (zh) 视触觉传感器及其三维重建方法、***、设备及存储介质
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant