CN115139535A - 基于三维重建技术的3d打印机逆反馈检测方法及*** - Google Patents

基于三维重建技术的3d打印机逆反馈检测方法及*** Download PDF

Info

Publication number
CN115139535A
CN115139535A CN202210810379.7A CN202210810379A CN115139535A CN 115139535 A CN115139535 A CN 115139535A CN 202210810379 A CN202210810379 A CN 202210810379A CN 115139535 A CN115139535 A CN 115139535A
Authority
CN
China
Prior art keywords
point cloud
algorithm
rgbd
dimensional
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210810379.7A
Other languages
English (en)
Other versions
CN115139535B (zh
Inventor
张哲绎
梁博超
王彩苗
齐泽萱
宋鹏烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202210810379.7A priority Critical patent/CN115139535B/zh
Publication of CN115139535A publication Critical patent/CN115139535A/zh
Application granted granted Critical
Publication of CN115139535B publication Critical patent/CN115139535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/10—Processes of additive manufacturing
    • B29C64/106—Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material
    • B29C64/118—Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material using filamentary material being melted, e.g. fused deposition modelling [FDM]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Materials Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明为基于三维重建技术的3D打印机逆反馈检测方法及***，依靠RGBD深度摄像头以及携带旋转升降机构的3D打印机，对在打印零件实现全方位的扫描，依靠RGBD算法与MVS算法分别对在打印零件进行三维重建，随后将两种算法下的重建模型进行对比，如两模型的相似程度大于所规定的阈值，则将MVS和RGBD算法三维重建后的重建模型分别与含支撑材料的三维设计模型进行对比，否则重新进行两种算法的三维重建。该发明以实现对在打印零件的加工误差检测，并将正在打印的不合格零件及时发现问题，采取对应措施，实现3D打印检测过程的完全自动化，提高3D打印工作的工作效率和可靠性。

Description

基于三维重建技术的3D打印机逆反馈检测方法及***
技术领域
本发明属于3D打印技术领域，具体涉及一种基于三维重建技术的3D打印机逆反馈检测方法，用于各种基于熔融沉积快速成型以及其他成型方法下的各种坐标方式的3D打印机的打印误差检测情况。
背景技术
3D打印技术利用计算机对目标产品进行设计，并最终将三维设计模型转变成具体实物，为传统的制造业提供了新的发展方向。同时，3D打印技术的应用领域不断扩展，其技术也在不断成熟，各领域对打印机的产品精度要求不断提高，打印技术与各种控制技术的结合必然是目前发展的重要方向。目前多数3D打印机在实际的工作过程中，存在以下方面的一些问题。打印机由于其普遍采用的堆积打印的材料粘着性不足；打印过程中由于材料的加热不充分，在喷口处出现堵塞情况。在3D打印过程中，常常会存在因为打印机电源电压或主板驱动电压不稳定或不合适，以及打印机运动电机或送丝机构漏步等现象，导致的3D打印机打印出来的零件与零件的三维设计模型存在偏差，而这些偏差绝大多数情况下，只能在3D打印工作结束之后，才能发现，既浪费了3D打印工作的能量又浪费了时间。
三维重建是指用相机拍摄或激光扫描雷达扫描真实世界的物体、场景，并通过计算机视觉技术进行处理，从而得到物体的三维模型。目前三维重建技术主要分为传统重建技术和深度学习下的重建，传统重建技术包括RGBD方式和MVS方式的重建，其中MVS重建为从同一物体四周拍摄的一系列图像中重建3D模型，即基于彩色图像的刚体重建，其根据拍摄的图像，不同角度图像之间的特征点匹配和摄像头位姿，来进行三维重建；RGBD重建为对直接获取的RGB信息和对于深度信息DEPTH进行曲面重建，深度信息是通过结构光，TOF等获取的，是主动式测量，无需像MVS那样先计算位姿再计算深度图然后重建，RGBD是直接进行曲面重建，位姿计算是包含在曲面重建过程中的。
RGBD重建的特点：优点：1.可直接获得某一视角的点云深度图2.可直接生成附带颜色的点云信息；缺陷：1.相机运动太快，特征点无法确定2.视场角不够，帧间的重叠区小3.深度测量范围小、精度低4.三维重建实时难度大5.外界动态光源会对其有所干扰。
MVS重建的特点：优点：1、生成规则的点云2、便于提取物体的平面。缺点：1、精度受到摄像头本身的分辨率的影响2、难以处理精度高、规模大的场景3.精度受周围环境的杂物影响4.精度受扫描物品本身的复杂程度影响，受照片拍摄数量与拍摄位姿的影响。
对于目前存在的发明CN202011212293.1，一种反馈式3D打印机，该发明实现了对原料所剩余量的监控，并具有报警功能，可将料丝原料的使用情况反馈给工作人员。但未设置摄像头，在此情况下该***缺乏直观的分析，故无法对制作的产品工况进行直观的观察，对于打印过程中产品的加工误差无法及时发现，产品在制作过程中出现的精度等问题无法及时反馈，降低了产品良品率。
发明内容
针对以上不足，本发明的目的在于提供一种基于三维重建技术的3D打印机逆反馈检测***，基于RGBD与MVS三维重建的原理进行3D打印机在打印零件的三维模型重建，通过模型对比，及时发现打印问题，从而发出警报，暂停打印，达到提醒工作人员、节省打印原料和促进工作进展的目的。
为实现上述目的，本发明发明提供如下技术方案：
一种基于三维重建技术的3D打印机逆反馈检测方法，其特征在于，包括3D打印机和能围绕3D打印机的打印平台做圆周运动并能高度变化的RGBD深度摄像头，该检测方法包括以下内容：
(1)在3D打印机中导入要打印的模型，设置中断时间，3D打印机生成含支撑材料的三维设计模型开始打印，在打印至中断时间后，执行中断操作，将Y轴移动的打印平台移动至一端，等待进行扫描工作，保存含支撑材料的三维设计模型的STL格式文件；
(2)RGBD深度摄像头进行升降和旋转操作，开始进行扫描工作：
在扫描过程中，首先RGBD深度摄像头位置维持在Z轴零点即3D打印机的打印平台所在平面，绕打印平台中心旋转，其旋转速度为每秒10度，每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的采集；
在Z轴零点完成扫描之后，RGBD深度摄像头上升至已打印部分零件中心处，重复完成每秒10度的旋转，以及每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的保存的工作；
在打印零件已打印部分零件中心处的扫描工作完成后，RGBD深度摄像头上升至已打印部分零件顶端，重复完成每秒10度的旋转，以及每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的保存的工作；
(3)RGBD算法重建：RGBD深度摄像头每旋转30度扫描生成一次点云，随后对每帧点云进行SOR滤波，将此帧点云与下一帧点云进行配准拼接，随后再拿拼接好的点云与下一帧点云进行拼接，对依靠RGBD深度摄像头采集到的重合度超过60％的点云图进行三维重建工作，在全部完成拼接后，将此点云保存成PLY格式文件，随后进行点云处理，获得只含在打印零件的完整点云，并对该PLY格式文件进行补洞操作，随后依靠球面重建的方式进行三维重建，生成STL格式文件，获得RGBD算法下的重建模型；
MVS算法重建：在RGBD深度摄像头每旋转10度拍摄一次照片，并将图片导入VISUALSFM软件，进行对应点匹配，生成稀疏点云，依靠CMVS软件进行稠密重建，依靠SOR滤波算法和RANSAC平面提取进行点云处理操作，获得PLY格式的只含在打印零件的完整点云，并进行补洞操作，随后进行球面三维重建，生成STL格式文件，获得MVS算法下的重建模型；
(4)将MVS算法生成的STL格式文件与RGBD算法生成的STL格式文件，均转变为均匀点云，将二者的均匀点云进行ICP配准、相似度计算，若相似度计算即散点匹配重合率大于相似度阈值85％，则进行下一步，否则返回步骤(2)重新采集；
(5)将含支撑材料的已打印部分的STL格式文件也转变为均匀点云，再将RGBD算法生成的STL格式文件、MVS算法生成的STL格式文件所对应的均匀点云分别与含支撑材料的STL格式文件的均匀点云进行ICP配准、相似度计算；若相似度计算均大于85％，则3D打印机恢复原状态继续打印，否则进行反馈处理，反馈处理过程是为：若仅一者相似度计算结果不大于85％，则重新返回步骤(2)重新采集，若两者相似度计算结果均不大于85％，则提示打印出错，进行报警处理。
MVS算法的三维重建过程是：
(1)导入拍摄的108张不同角度和高度的RGB图片至VISUAL SFM软件；
(2)随后利用SIFT算法进行每张图片的特征点提取，与对应点的匹配；
(3)开始进行三维点云的稀疏重建；
(4)依靠CMVS算法进行点云的稠密重建；
(5)随后对点云进行处理，提取在打印物体的点云；
(6)对在打印物体的点云进行球面算法的三维重建。
RGBD算法的三维重建过程是：
(1)导入拍摄的36张重叠度较高的点云数据至Point Cloud Library软件；
(2)对导入的点云数据进行SOR滤波，去除离散的噪声杂点；
(3)对所有的点云文件，进行尺寸自动调整的ICP算法下的点云配准与拼接；
(4)保存拼接好后的36点云数据至一个PLY文件，即完成点云拼接工作；
(5)随后对点云进行处理，提取在打印物体的点云；
(6)对在打印物体的点云进行球面算法的三维重建。
MVS算法生成的STL格式文件与RGBD算法生成的STL格式文件进行模型匹配与相似度计算的过程是：
(1).对MVS算法三维重建后的扫描点云文件转成STL格式的文件，并在自动完成补洞工作；(2).将RGBD算法三维重建后的扫描点云文件转成STL格式的文件，并在自动完成补洞工作；(3).将RGBD算法三维重建的STL格式文件与MVS算法三维重建的STL格式文件均转变PLY点云文件；
(4).将MVS算法三维重建的点云与RGBD算法三维重建的点云采用ICP算法完成配准，即统一坐标系；
(5).对MVS算法三维重建的点云与RGBD算法三维重建的点云，两点云文件进行KDTREE的半径算法，依靠欧氏距离的KDTREE半径进行点云计算，设计KDTREE半径参数为0.1mm，首先对MVS算法三维重建的点云的每个点，在KDTREE半径内寻找是否存在RGBD算法三维重建的点云中的点，若存在，则此点匹配成功，以总的匹配成功点数比MVS重建模型的总点数为P1，求出MVS算法三维重建的点云中符合RGBD算法三维重建的点云的比例；随后对RGBD算法三维重建的点云的每个点，在KDTREE半径内寻找是否存在MVS算法三维重建的点云中的点，若存在，则此点匹配成功，以总的匹配成功点数比总的RGBD重建模型点数为P2，求出在在RGBD算法三维重建的点云模型中符合MVS算法三维重建的点云的比例；
(6).计算MVS算法下的重建模型与RGBD重建模型的匹配程度P为P＝1-(1-P1)-(1-P2)。
本发明还保护一种基于三维重建技术的3D打印机逆反馈检测***，其特征在于，所述反馈检测***包括RGBD深度摄像头模块1、打印平台2、打印喷头3、打印机运动机构4、负反馈检测***控制模块、PC端模块，所述打印平台2设于打印喷头3的下方，经由所述打印喷头3打印出的零件设于打印平台2上，打印机运动机构4带动打印喷头3运动，打印出规则零件；所述RGBD深度摄像头模块1包括RGBD深度摄像头和升降旋转机构，在升降旋转机构的作用下实现RGBD深度摄像头的旋转和升降动作；RGBD深度摄像头既能采集深度图像又能采集彩色图像；RGBD深度摄像头设于打印平台2的侧方，围绕打印平台2做圆周运动，且高度可变化；所述负反馈检测***控制模块用于控制3D打印机主体模块和RGBD深度摄像头模块完成相应动作，
负反馈检测***控制模块加载在负反馈检测***控制器内，负反馈检测***控制器连接报警装置，同时控制报警装置的启停，此外，负反馈检测***控制器内部嵌入有数据处理模块，所述数据处理模块内部设有点云处理程序、点云采集程序、模型匹配与相似度计算程序。
所述点云处理程序的过程是：
(1)将稠密重建后或拼接完成后的点云，导入Point Cloud Library软件下；
(2)由于整个反馈检测过程中，RGBD深度摄像头始终围绕打印平台做旋转和上升运动，所以RGBD深度空间运动轨迹完全包裹打印平台和在打印零件，因此利用RGBD深度摄像头位姿信息，保留将RGBD深度摄像头位姿点包围空间内的点云，删除其余点云；
(3)对保留的点云进行SOR滤波，设置滤除掉的点为计算其最近的100个点的标准值小于1cm的点，也就是去除扫描过程中的离群点即噪声，获得完整的不含噪声的打印平台和在打印零件的点云；
(4)利用RANSAC算法提取点云中的最大平面，即为Y轴移动的打印平台；
(5)删除Y轴移动的打印平台的点云，根据打印平台的厚度，设置上下关联的删除尺寸，最后保留仅在打印零件的点云。
所述模型匹配与相似度计算程序的过程是：
(1).将两个待进行模型匹配与相似度计算的三维模型转化为PLY点云文件，若待进行模型匹配与相似度计算的三维模型为重建模型，则需要将重建模型先转成STL格式的文件，并在自动完成补洞工作；完成补洞后，为获得均匀点云，最后将重建模型的STL格式文件转变为PLY格式；
(2).采用ICP算法对两个三维模型进行配准，即统一坐标系；
(3).对两个三维模型的两点云文件进行KDTREE的半径算法，依靠欧氏距离的KDTREE半径进行点云计算，设计KDTREE半径参数为0.1mm，即利用ICP的配准误差在0.1mm以下，进行对比；首先对第一个三维模型上的每个点，在KDTREE半径内寻找是否存在第二个三维模型上的点，若存在，则此点匹配成功，以总的匹配成功点数比总的第一个三维模型上的点数为K1，求出第一个三维模型的点云中符合第二个三维模型的比例；随后对第二个三维模型上的每个点，在KDTREE半径内寻找是否存在第一个三维模型上的点，若存在，则此点匹配成功，以总的匹配成功点数比总的第二个三维模型上的点数为K2，求出在打印零件的第二个三维模型中符合第一个三维模型的比例；
(4).计算两三维模型的匹配程度K为：K＝1-(1-K1)-(1-K2)。
与现有技术相比，本发明发明的有益效果是：
1.现有技术在3D打印机反馈检测***方面研究较少，其3D打印过程主要为人工自主检测，本发明发明的引入逆反馈检测，利用在打印零件的三维重建模型与三维设计模型对比，反馈打印是否符合要求，实现了对打印过程的监测，提高了3D打印制造的自动化程度。
2.现有技术在3D打印机的反馈检测***上的应用，主要为电机运动反馈传感器以及喷头温度检测传感器，吐丝运动检测传感器等，依靠多种传感器的组合应用，监测3D打印机各主要部件的运动情况，来保证打印精度，本发明不需要这些复杂的控制过程，通过三维重建模型算法，点云模型的对比，来保证打印精度，具有控制简单、可靠性高的特点。
3.现有技术在3D打印机的反馈检测***上的应用，也存在使用摄像头监测的情况，主要方法为两种，一种为人工可远程通过摄像头监测打印情况，降低打印出错率，另一种为依靠摄像头拍摄的照片，通过OpenCV等算法与导入模型的二维图进行对比，通过二维图的特征对比来检测是否出现打印错误的现象，主要具有监测精度不足的缺陷。然而本发明采用两种三维重建方式相互匹配计算来确定是否存在打印错误的现象，即3D打印机依靠三维设计模型打印出零件，随机依靠摄像头和对应算法，对正打印的工件进行三维重建，即逆向采用3D打印过程，将逆向重建的三维重建模型与已打印的部分三维设计模型进行对比，直观，清晰，且准确率高的及时发现打印缺陷，降低打印误差，提高制造精度。
4.本发明同时采用RGBD算法与MVS算法对点云进行重建，采用两种方法，多次数据采集，多次对比的方法，保证检测的准确性，防止因为监测方法的缺陷，而降低因三维重建方法本身的缺陷而造成的误差判定错误的情况产生，尽可能避免了扫描过程本身的错误。
5.本发明的零件点云处理方式，针对3D打印环境提出，其主要思路为，依靠摄像头的位置完全围绕打印平台的特点，直接提取打印零件及打印平台的点云，在对点云进行SOR滤波后，随后对打印平台的平面识别，保留平台内部的点云，删除打印平台及其以下的点云，即获取了目标物品扫描点云，既提高目标物体点云识别的精准性，又降低了点云处理的时间。
6.本发明反馈检测***先进行点云的三维重建，再转化成STL模型进行补洞，最后再转为均匀点云化，三维设计模型同时也由STL空壳模型转化为均匀点云化，随后点云配准，利用KDTREE的半径领域寻找算法，进行相似度计算，同时降低了数据的计算量，既提高了扫描点云与三维设计模型对比的精度，又节约了计算的时间。
附图说明
图1基于三维重建技术的3D打印机逆反馈检测***的硬件架构简图。
图2基于三维重建技术的3D打印机逆反馈检测***的工作流程示意图。
图3基于三维重建技术的3D打印机逆反馈检测***中的MVS算法重建步骤图。
图4基于三维重建技术的3D打印机逆反馈检测***中的RGBD算法重建步骤图。
图5本发明3D打印机逆反馈检测***中的点云处理步骤效果说明图。
图6三耳断尾兔重建模型与兔子的三维设计模型的模型匹配与相似度计算过程示意图。
图7三耳断尾兔重建模型与兔子本身的RGBD算法获得的重建模型的模型匹配与相似度计算过程示意图。
附图说明：1.RGBD深度摄像头模块，2.打印平台，3.打印喷头，4.打印机运动机构。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图1所示，本发明提供一种基于三维重建技术的3D打印机逆反馈检测***，所述反馈检测***包括RGBD深度摄像头模块1、打印平台2、打印喷头3、打印机运动机构4、负反馈检测***控制模块、PC端模块，所述打印平台2设于打印喷头3的下方，经由所述打印喷头3打印出的零件设于打印平台2上，打印机运动机构4可带动打印喷头3运动，打印出规则零件。所述RGBD深度摄像头模块1包括RGBD深度摄像头和升降旋转机构，在升降旋转机构的作用下实现RGBD深度摄像头的旋转和升降动作；RGBD深度摄像头既能采集深度图像又能采集彩色图像。RGBD深度摄像头设于打印平台2的侧方，可围绕打印平台2做圆周运动，且高度可变化。其中图1中的RGBD深度摄像头模块1所包含的三个摄像头代表RGBD深度摄像头运动过程中的3个位置，并非代表3个RGBD深度摄像头，整个反馈检测***中仅使用1个RGBD深度摄像头。所述负反馈检测***控制模块用于控制3D打印机主体模块和RGBD深度摄像头模块完成相应动作，负反馈检测***控制模块直接连接3D打印机的运动电机以及RGBD深度摄像头的升降旋转机构的运动电机。
所述基于三维重建技术的3D打印机逆反馈检测***还包括负反馈检测***控制器与报警装置，负反馈检测***控制器内加载有负反馈检测***控制模块，负反馈检测***控制模块完成对摄像头旋转上升操作的运动控制和打印平台2的运动，打印平台2的运动包括x，y，z轴的运动与3D打印机的进丝机构的运动，负反馈检测***控制器连接报警装置，同时控制报警装置的启停，此外，负反馈检测***控制器内部嵌入有数据处理模块，其数据处理模块内部设有点云处理程序、点云采集程序、模型匹配与相似度计算程序，上述程序的实现主要采用开源的Point Cloud Library软件、VISUAL SFM软件和CMVS软件。
所述PC端模块用于数据交互，并观察打印工作过程，PC端直接与负反馈检测***控制器相连接，可以直接获得在打印情况，同时可传输打印零件，使得3D打印机开始进行打印。
为了方便对现有打印机进行改造，采用外设的数据处理模块，数据处理模块可以是某公共主机或工控机等可以提供百万级点云计算力的设备实现。所述数据处理模块内设有Point Cloud Library点云处理模块，以及集成的VISUAL SFM三维稀疏点云重建模块和稠密点云建造的CMVS模块。
所述基于三维重建技术的3D打印机逆反馈检测***有两个工作状态：(1).打印工作状态，RGBD深度摄像头运动到打印喷头3的最远端，打印机运动机构4携带打印喷头3按照既定程序在打印平台2上打印出设计的零件。(2)检测状态，RGBD深度摄像头围绕打印平台2，做有规律的上下旋转运动，同时，打印平台2运动到打印喷头3的最远端，打印喷头3依靠打印机运动机构4移动到最顶端，防止RGBD深度摄像头与打印喷头3发生相撞事件。
所述3D打印机包括挤出机和Y轴移动平台，挤出机安装在X轴、Z轴移动机构上，挤出机在所述Y轴移动平台上进行打印工作，上述打印喷头3、打印平台、打印机运动机构4构成3D打印机主体模块，用于完成3D打印工作。
本发明基于三维重建技术的3D打印机逆反馈检测***的工作流程如图2所示，包括如下步骤：
(1)在3D打印机中导入要打印的模型，设置中断时间(本实施例中中断时间为20min)，3D打印机生成含支撑材料的三维设计模型开始打印，在打印至20分钟后，执行中断操作，将Y轴移动的打印平台移动至一端，等待进行扫描工作，保存含支撑材料的三维设计模型的STL格式文件。
(2)运动控制模块操纵RGBD深度摄像头模块的升降旋转机构工作，开始进行扫描工作，RGBD深度摄像头围绕打印工件以每秒10度的角速度旋转，且分别在z＝0、z＝已打印部分零件中心、z＝已打印部分零件顶端完成三圈的旋转：
首先摄像头位置维持在Z轴零点即3D打印机的打印平台所在平面，绕打印平台中心旋转，其旋转速度为每秒10度，每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的保存；
在Z轴零点完成扫描之后，RGBD深度摄像头上升至已打印部分零件中心处，重复完成每秒10度的旋转，以及每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的保存的工作；
在打印零件已打印部分零件中心处的扫描工作完成后，RGBD深度摄像头上升至已打印部分零件顶端，重复完成每秒10度的旋转，以及每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的保存的工作。
(3)RGBD算法重建：RGBD深度摄像头每旋转30度扫描生成一次点云，随后对每帧点云进行SOR滤波，将此帧点云与下一帧点云进行配准拼接，随后再拿拼接好的点云与下一帧点云进行拼接，对依靠RGBD深度摄像头采集到的重合度超过60％的点云图进行三维重建工作，在全部完成拼接后，将此点云保存成PLY格式文件，随后进行点云处理，获得只含在打印零件的完整点云，并对该PLY格式文件进行补洞操作，随后依靠球面重建的方式进行三维重建，生成STL格式文件，获得RGBD算法下的重建模型；
MVS算法重建：在RGBD深度摄像头每旋转10度拍摄一次照片，并将图片导入VISUALSFM软件，进行对应点匹配，生成稀疏点云，依靠CMVS软件进行稠密重建，依靠SOR滤波算法和RANSAC平面提取进行点云处理操作，获得PLY格式的只含在打印零件的完整点云，并进行补洞操作，随后进行球面三维重建，生成STL格式文件，获得MVS算法下的重建模型。
(4)将MVS算法生成的STL格式文件与RGBD算法生成的STL格式文件，均转变为均匀点云，将二者的均匀点云进行ICP配准、相似度计算，若相似度计算即散点匹配重合率大于相似度阈值85％，则进行下一步，否则返回步骤(2)重新采集。
(5)将含支撑材料的STL格式文件也转变为均匀点云，再将RGBD算法生成的STL格式文件、MVS算法生成的STL格式文件所对应的均匀点云分别与含支撑材料的STL格式文件的均匀点云进行ICP配准、相似度计算；若相似度计算结果均大于85％，则3D打印机恢复原状态继续打印，否则进行反馈处理，反馈处理过程是为：若仅一者相似度计算结果不大于85％，则重新返回步骤(2)重新采集，若两者相似度计算结果均不大于85％，则提示打印出错，通过报警器进行报警处理。
本发明通过模型匹配和相似度的计算，对于形状复杂的零件，也能较好的提取轮廓，自动实现拟合，自动逆反馈，实现打印工作与检测工作的自动交替进行。
上述基于三维重建技术的3D打印机逆反馈检测方法，所述点云处理的步骤如下：
(1)将稠密重建后或拼接完成后的点云，导入Point Cloud Library软件下；
(2)由于整个反馈检测过程中，摄像头始终围绕打印平台做旋转和上升运动，所以摄像头空间运动轨迹完全包裹打印平台和在打印零件，因此利用摄像头位姿信息，保留将摄像头位姿点包围空间内的点云，删除其余点云；
(3)对保留的点云进行SOR滤波，设置滤除掉的点为计算其最近的100个点的标准值小于1cm的点，即去除扫描过程中的离群点即噪声，获得完整的不含噪声的打印平台和在打印零件的点云；
(4)利用RANSAC算法提取点云中的最大平面，即为Y轴移动的打印平台；
(5)删除Y轴移动的打印平台的点云，根据打印平台的设置上下关联的删除尺寸，此举是因为打印平台具有厚度，为了完全删除整个打印平台相关的点云，最后保留仅有在打印零件的点云。
MVS算法下的重建模型与含支撑材料的已打印部分的三维设计模型的模型匹配与相似度计算的步骤如下：
(1).对MVS算法三维重建后的扫描点云文件转成STL格式的文件，并在自动完成补洞工作；
(2).完成补洞后，为获得均匀点云，将MVS算法三维重建后的STL格式文件转变为PLY格式；
(3).将含支撑材料的已打印部分的三维设计模型同样转化为STL格式文件，随后同样转变PLY点云文件；
(4).将MVS算法重建模型的点云与含支撑材料的已打印部分的三维设计模型采用ICP算法完成配准，即统一坐标系；
(5).对MVS算法重建模型含支撑材料的三维设计模型两点云文件进行KDTREE的半径算法，依靠欧氏距离的KDTREE半径进行点云计算，设计KDTREE半径参数为0.1mm，即利用ICP的配准误差在0.1mm以下，进行对比。首先对MVS重建模型上的每个点，在KDTREE半径内寻找是否存在含支撑材料的已打印部分的三维设计模型上的点，若存在，则此点匹配成功，以总的匹配成功点数比总的MVS重建模型点数为K1，可求出重建模型的点云中符合设计部分的比例，即可求出在打印零件是否存在多打印的部分；随后对含支撑材料的已打印部分的三维设计模型上的每个点，在KDTREE半径内寻找是否存在MVS重建模型上的点，若存在，则此点匹配成功，以总的匹配成功点数比总的三维设计模型点数为K2，可求出在在打印零件的三维设计模型中符合MVS重建模型的比例，即可求出在打印零件是否存在漏打的情况；
(6).计算MVS算法下的重建模型与三维设计模型的匹配程度为K＝1-(1-K1)-(1-K2)。
MVS算法的重建模型与RGBD算法的重建模型的模型匹配与相似度计算的步骤如下：(1).对MVS算法三维重建后的扫描点云文件转成STL格式的文件，并在自动完成补洞工作；(2).将RGBD算法三维重建后的扫描点云文件转成STL格式的文件，并在自动完成补洞工作；(3).将RGBD算法三维重建的STL格式文件与MVS算法三维重建的STL格式文件均转变PLY点云文件；
(4).将MVS算法三维重建的点云与RGBD算法三维重建的点云采用ICP算法完成配准，即统一坐标系；
(5).对MVS算法三维重建的点云与RGBD算法三维重建的点云，两点云文件进行KDTREE的半径算法，依靠欧氏距离的KDTREE半径进行点云计算，设计KDTREE半径参数为0.1mm，首先对MVS算法三维重建的点云的每个点，在KDTREE半径内寻找是否存在RGBD算法三维重建的点云中的点，若存在，则此点匹配成功，以总的匹配成功点数比MVS重建模型的总点数为P1，可求出MVS算法三维重建的点云中符合RGBD算法三维重建的点云的比例；随后对RGBD算法三维重建的点云的每个点，在KDTREE半径内寻找是否存在MVS算法三维重建的点云中的点，若存在，则此点匹配成功，以总的匹配成功点数比总的RGBD重建模型点数为P2，可求出在在RGBD算法三维重建的点云模型中符合MVS算法三维重建的点云的比例；
(6).计算MVS算法下的重建模型与RGBD重建模型的匹配程度为P＝1-(1-P1)-(1-P2)。
RGBD算法获得的重建模型与含支撑材料的已打印部分的三维设计模型的模型匹配与相似度计算的步骤如下：
(1).对RGBD算法三维重建后的扫描点云文件转成STL格式的文件，并在自动完成补洞工作；(2).完成补洞，为获得均匀点云，将RGBD算法三维重建后的STL格式文件转变为PLY；
(3).将含支撑材料的已打印部分的三维设计模型同样转化为STL格式文件，随后同样转变PLY点云文件；
(4).将RGBD算法重建模型的点云与含支撑材料的已打印部分的三维设计模型采用ICP算法完成配准，即统一坐标系；
(5).对RGBD算法重建模型的点云与含支撑材料的已打印部分的三维设计模型，两点云文件进行KDTREE的半径算法，依靠欧氏距离的KDTREE半径进行点云计算，设计KDTREE半径参数为0.1mm，首先对RGBD重建模型上的每个点，在KDTREE半径内寻找是否存在含支撑材料的已打印部分的三维设计模型上的点，若存在，则此点匹配成功，以总的匹配成功点数比总的RGBD重建模型点数为W1，可求出RGBD重建模型的点云中符合设计部分的比例，即可求出在打印零件是否存在多打印的部分；随后对含支撑材料的已打印部分的三维设计模型上的每个点，在KDTREE半径内寻找是否存在RGBD重建模型上的点，若存在，则此点匹配成功，以总的匹配成功点数比总的三维设计模型点数为W2，可求出在在打印零件的三维设计模型中符合重建模型的比例，即可求出在打印零件是否存在漏打的情况；
(6).计算RGBD算法下的重建模型与含支撑材料的已打印部分的三维设计模型的匹配程度为W＝1-(1-W1)-(1-W2)。
所述MVS算法重建过程如图3所示，以一个凳子的重建过程为例，利用VISUAL SFM和CMVS软件，其具体步骤如下：
1)输入一系列图片
导入RGBD深度摄像头在旋转运动过程中，不同角度、不同高度，对在打印零件拍摄的108张RGB图片至VISUAL SFM软件。
2)对导入的108张RGB图片，利用SIFT算法提取、描述特征，分别找到每两张照片的对应点。
3)利用SFM算法，通过迭代求解出相机参数和三维点坐标，即重建出3D模型的稀疏点云。
4)通过CMVS软件对图片进行聚类，以减少稠密重建数据量，而后利用PMVS从3D模型的稀疏点云开始，在局部光度一致性和全局可见性约束下，经过匹配、扩散、过滤生成带真实颜色的稠密点云。
5)对点云进行处理，获取目标物体的点云；
6)对在打印物体上的点云利用球面重建方式进行三维重建，生成STL格式文件，获得MVS算法下的重建模型。
所述RGBD算法重建的过程如图4所示，以一个椅子的重建过程为例，采用RGBD深度摄像头获得深度图像和彩色图像，导入拍摄的2张重叠度较高的点云数据至Point CloudLibrary软件，并依靠两张点云图的重叠区域，通过ICP配准算法，使其位姿匹配，随后完成点云的拼接，获得完整的点云信息。具体过程是：
1)导入拍摄的2张重叠度较高的点云数据至Point Cloud Library软件；
2)对导入的点云数据进行SOR滤波，去除离散的噪声杂点；
3)对所有的点云文件，进行尺寸自动调整的ICP算法下的点云配准与拼接；
4)保存拼接好后的点云数据至一个PLY文件，即完成点云拼接工作，也就是将点云保存成PLY格式文件；
5)随后对点云进行处理，首先提取摄像头扫描区域内的点云，进行SOR滤波，随后完成平面提取即Y轴在打印平台的提取、平面删除即Y轴在打印平台的删除操作，提取出完整的、不含噪声的在打印零件的点云，并获得打印零件点云对应的PLY格式文件，对该PLY格式文件进行补洞操作；
6)对在打印零件上的补洞后点云利用球面重建方式进行三维重建，生成STL格式文件，获得RGBD算法下的重建模型。
点云处理过程如图5所示，以一个瓶子在圆盘上的重建模型为例，其中瓶子为打印零件(目标物体)，圆盘为打印平台，其处理流程如下：
1.依靠MVS算法获取的点云信息，可直接获得摄像头的位置，由于所有摄像头的位置均在圆盘的四周，且可以直接获得圆盘四周所有的摄像头位置，随后保留整个摄像头位置中间的点云，对摄像头位置围成的圆圈区域以外的点云直接进行删除，其结果图如图5中的左边第一张图所示，为包含圆盘、瓶子以及其周围噪声的点云。
2.获得了包含圆盘、瓶子以及其噪声的点云后，对整个点云区域采用SOR滤波，其中SOR滤波为基于空间分布的去噪算法，其基本原理：对每个点进行领域统计分析，计算该点到它的K个邻近点的平均距离。假设所得结果服从高斯分布，高斯分布的形状取决于平均值和标准差，将平均距离在给定阈值范围之外的点并去除。该方法需要两个参数，一个是sig标准差的倍数参数，另一个是K邻近点的个数。其去噪步骤为①计算每个点的K个邻近点的距离(d),计算这些距离的总和D；②所有点的D相加，即sum(D)；③计算所有点的距离总和的平均值mean(sum(D))；④计算所有点的距离总和的标准差std(sum(D))；⑤得到噪点离群距离mean(sum(D))+sig*std(sum(D))；⑥大于这个噪点离群距离的就是噪声点。本实施例中，选定参数sig＝2，K＝20，点云SOR滤波后的结果图如图5的中间图所示，即已经删除重建点云中的噪声，仅剩圆盘和瓶子的点云。
3.对仅含目标物体和打印平台的点云，进行RANSAC算法的平面识别，对打印平台以及其下面的点云进行删除操作，即可提取目标物体的点云，其结果图如图5中的右边第一张图所示，删除掉了圆盘的点云，仅保存瓶子的点云，即获得PLY格式的只含在打印零件的完整点云。
RANSAC算法的平面识别为在空间点云中拟合平面，具体过程如下:
(1)从点云中随机选取三个点。
(2)由这三个点组成一个平面。
(3)计算所有其他点到该平面的距离，如果小于阈值0.1，就认为是处在同一个平面的点。
(4)如果处在同一个平面的点超过5000个，就保存下这个平面，并将处在这个平面上的点都标记为已匹配。
(5)终止的条件是迭代N次后找到的平面小于5000个点，或者找不到三个未标记的点，将拟合的含点数最多的平面即记为打印平台，实现打印平台的平面识别。
基于三维重建技术的3D打印机逆反馈检测***中的三耳断尾兔重建模型与兔子的三维设计模型(为通过三维设计获得的完整兔子的三维设计结构)的模型匹配与相似度计算过程如图6所示，以一个依靠点云删除和拼接技术制造的三耳断尾兔重建模型与兔子的三维设计模型的对比过程为例，其中三耳断尾兔模型是在RGBD算法下获得的完整兔子重建模型的基础上，拼接了一个耳朵，并删除了一段尾巴获得，其对比流程如下：
1)首先将RGBD算法下获得的完整兔子重建模型生成STL格式的抽壳三维模型，并对此STL格式的抽壳三维模型进行编辑拼接一个耳朵并删除尾巴，变成STL格式的三耳断尾兔重建模型，随后将STL格式的三耳断尾兔重建模型，再重新转化为PLY格式的点云模型，以获得均匀的点云，防止点云分布不均匀对散点匹配的计算造成误差。同时，将STL格式的三维设计模型也完全转化为均匀的点云模型。
2)利用ICP算法对兔子的三维设计模型与三耳断尾兔重建模型进行配准，使两者统一到同一坐标系下，并同一对应点为坐标原点。
3)以兔子的三维设计模型上的点，利用KDTREE邻域半径搜索算法，由于兔子的三维设计模型和三耳断尾兔重建模型本身存在点云偏移以及形状偏差，故在ICP配准，统一坐标系时，精度较低，设置KDTREE的邻域搜索半径为0.1mm，以兔子的三维设计模型上的点，去三耳断尾兔上寻找对应点，即循环整个兔子的三维设计模型的点，并以每个点画0.1mm的空间圆，若空间圆内包含三耳断尾兔重建模型上的点，便将画在此空间圆内的兔子的三维设计模型上的点变为绿色，视为匹配成功，若在兔子的三维设计模型上的点画的空间圆并不包含三耳断尾兔重建模型上的点，则是为未匹配成功点，并将此类点变为蓝色，可以找到三耳断尾兔重建模型上缺失的点，即为蓝色部分，同时可以计算散点匹配的重合率，即缺失部分所占的比例为缺失点数/总点数＝(6462-5529)/6462＝14.44％。
4)以三耳断尾兔重建模型上的点，利用KDTREE邻域半径搜索算法，设置KDTREE的邻域搜索半径为0.1mm，以三耳断尾兔重建模型上的点，去兔子的三维设计模型上寻找对应点，即循环整个三耳断尾兔重建模型的点，并以每个点画0.1mm的空间圆，若空间圆内包含兔子的三维设计模型上的点，便将画此空间圆的三耳断尾兔重建模型上的点变为绿色，视为匹配成功，若在三耳断尾兔重建模型上的点画的圆并不包含兔子的三维设计模型上的点，则是为未匹配成功点，并将此类点变为蓝色，可以找到三耳断尾兔重建模型上多余的点，即为蓝色部分，同时可以计算散点匹配的重合率，即多余部分所占的比例为缺失点数/总点数＝(37243-28799)/37243＝22.68％。
则RGBD算法的重建模型加工后的三耳断尾兔模型与兔子的三维设计模型的重合率为1-多余的比例-缺少的比例＝1-0.2268-0.1444＝62.88％<85％，故此模型不符合要求，符合实际。
上述三耳断尾兔重建模型与兔子本身的RGBD算法获得的重建模型的模型匹配与相似度计算过程如图7所示，以一个依靠点云删除和拼接技术制造的三耳断尾兔点云模型与兔子本身的RGBD算法获得的重建模型的对比过程为例，其中三耳断尾兔重建模型是在通过RGBD算法获得的重建模型的基础上，拼接了一个耳朵，并删除了一段尾巴，其对比流程如下：
1.利用ICP算法对兔子本身的RGBD算法获得的重建模型与三耳断尾兔重建模型进行配准，使两者统一到同一坐标系下，并同一对应点为坐标原点。
2.以兔子本身的RGBD算法获得的重建模型上的点，利用KDTREE邻域半径搜索算法，KD树(K-dimensional树的简称)，是一种分割K维数据空间的数据结构。主要应用于多维空间关键数据的搜索(如：范围搜索和最近邻搜索)。其实KDTREE就是二叉搜索树的变种。这里的K＝3。设置KDTREE的邻域搜索半径为0.1mm，以重建模型上的点，去三耳断尾兔重建模型上寻找对应点，即循环整个重建模型的点，并以每个点画0.1mm的空间圆，若空间圆内包含三耳断尾兔重建模型上的点，便将画此空间圆的兔子本身的RGBD算法获得的重建模型上的点变为绿色，视为匹配成功，若在兔子本身的RGBD算法获得的重建模型上的点画的空间圆并不包含三耳断尾兔上的点，则是为未匹配成功点，并将此类点变为蓝色，可以找到三耳断尾兔上缺失的点，即为蓝色部分，可以看出尾巴部分为其三耳断尾兔缺失的点，符合实际。
3.以三耳断尾兔重建模型上的点，利用KDTREE邻域半径搜索算法，设置KDTREE的邻域搜索半径为0.1mm，以三耳断尾兔重建模型上的点，去兔子本身的RGBD算法获得的重建模型上寻找对应点，即循环整个三耳断尾兔重建模型的点，并以每个点画0.1mm的空间圆，若空间圆内包含兔子本身的RGBD算法获得的重建模型上的点，便将画此空间圆的三耳断尾兔重建模型上的点变为绿色，视为匹配成功，若在某三耳断尾兔重建模型上的点画的圆并不包含兔子本身的RGBD算法获得的重建模型上的点，则是为未匹配成功点，并将此类点变为蓝色，可以找到三耳断尾兔重建模型上多余的点，即为蓝色部分，可以看出耳朵部分为其三耳断尾兔重建模型多余的点，符合实际。
在进行任何一个重建模型与三维设计模型或重建模型与重建模型对比之前，都需要先将PLY格式的点云文件转化为STL格式文件，随后再将STL格式文件转化为PLY格式的点云文件，目的是，由于PLY点云文件在MVS重建时，两张照片重建后，重叠处的点云密集于非重叠处，同样PLY点云文件在RGBD重建时，两张点云图重叠处即拼接处的点云密集于非拼接处，因此三维重建后的物体各处点云分布并不均匀，而在转化为STL格式文件之后，再以一定的点云密度转化为均匀的点云，这样可以避免在散点分析时，由于点云分布不均，会使得计算比例时出现较大的误差。
本发明未述及之处适用于现有技术。

Claims (8)

1.一种基于三维重建技术的3D打印机逆反馈检测方法，其特征在于，包括3D打印机和能围绕3D打印机的打印平台做圆周运动并能高度变化的RGBD深度摄像头，该检测方法包括以下内容：
(1)在3D打印机中导入要打印的模型，设置中断时间，3D打印机生成含支撑材料的三维设计模型开始打印，在打印至中断时间后，执行中断操作，将Y轴移动的打印平台移动至一端，等待进行扫描工作，保存含支撑材料的三维设计模型的STL格式文件；
(2)RGBD深度摄像头进行升降和旋转操作，开始进行扫描工作：
在扫描过程中，首先RGBD深度摄像头位置维持在Z轴零点即3D打印机的打印平台所在平面，绕打印平台中心旋转，其旋转速度为每秒10度，每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的采集；
在Z轴零点完成扫描之后，RGBD深度摄像头上升至已打印部分零件中心处，重复完成每秒10度的旋转，以及每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的保存的工作；
在打印零件已打印部分零件中心处的扫描工作完成后，RGBD深度摄像头上升至已打印部分零件顶端，重复完成每秒10度的旋转，以及每秒进行一次RGB图片拍摄保存，每30度进行一次RGBD扫描点云图的保存的工作；
(3)RGBD算法重建：RGBD深度摄像头每旋转30度扫描生成一次点云，随后对每帧点云进行SOR滤波，将此帧点云与下一帧点云进行配准拼接，随后再拿拼接好的点云与下一帧点云进行拼接，对依靠RGBD深度摄像头采集到的重合度超过60％的点云图进行三维重建工作，在全部完成拼接后，将此点云保存成PLY格式文件，随后进行点云处理，获得只含在打印零件的完整点云，并对该PLY格式文件进行补洞操作，随后依靠球面重建的方式进行三维重建，生成STL格式文件，获得RGBD算法下的重建模型；
MVS算法重建：在RGBD深度摄像头每旋转10度拍摄一次照片，并将图片导入VISUAL SFM软件，进行对应点匹配，生成稀疏点云，依靠CMVS软件进行稠密重建，依靠SOR滤波算法和RANSAC平面提取进行点云处理操作，获得PLY格式的只含在打印零件的完整点云，并进行补洞操作，随后进行球面三维重建，生成STL格式文件，获得MVS算法下的重建模型；
(4)将MVS算法生成的STL格式文件与RGBD算法生成的STL格式文件，均转变为均匀点云，将二者的均匀点云进行ICP配准、相似度计算，若相似度计算即散点匹配重合率大于相似度阈值85％，则进行下一步，否则返回步骤(2)重新采集；
(5)将含支撑材料的已打印部分的STL格式文件也转变为均匀点云，再将RGBD算法生成的STL格式文件、MVS算法生成的STL格式文件所对应的均匀点云分别与含支撑材料的STL格式文件的均匀点云进行ICP配准、相似度计算；若相似度计算均大于85％，则3D打印机恢复原状态继续打印，否则进行反馈处理，反馈处理过程是为：若仅一者相似度计算结果不大于85％，则重新返回步骤(2)重新采集，若两者相似度计算结果均不大于85％，则提示打印出错，进行报警处理。
2.根据权利要求1所述的基于三维重建技术的3D打印机逆反馈检测方法，其特征在于，MVS算法的三维重建过程是：
(1)导入拍摄的108张不同角度和高度的RGB图片至VISUAL SFM软件；
(2)随后利用SIFT算法进行每张图片的特征点提取，与对应点的匹配；
(3)开始进行三维点云的稀疏重建；
(4)依靠CMVS算法进行点云的稠密重建；
(5)随后对点云进行处理，提取在打印物体的点云；
(6)对在打印物体的点云进行球面算法的三维重建。
3.根据权利要求1所述的基于三维重建技术的3D打印机逆反馈检测方法，其特征在于，RGBD算法的三维重建过程是：
(1)导入拍摄的36张重叠度较高的点云数据至Point Cloud Library软件；
(2)对导入的点云数据进行SOR滤波，去除离散的噪声杂点；
(3)对所有的点云文件，进行尺寸自动调整的ICP算法下的点云配准与拼接；
(4)保存拼接好后的36点云数据至一个PLY文件，即完成点云拼接工作；
(5)随后对点云进行处理，提取在打印物体的点云；
(6)对在打印物体的点云进行球面算法的三维重建。
4.根据权利要求1所述的基于三维重建技术的3D打印机逆反馈检测方法，其特征在于，MVS算法生成的STL格式文件与RGBD算法生成的STL格式文件进行模型匹配与相似度计算的过程是：
(1).对MVS算法三维重建后的扫描点云文件转成STL格式的文件，并在自动完成补洞工作；
(2).将RGBD算法三维重建后的扫描点云文件转成STL格式的文件，并在自动完成补洞工作；
(3).将RGBD算法三维重建的STL格式文件与MVS算法三维重建的STL格式文件均转变PLY点云文件；
(4).将MVS算法三维重建的点云与RGBD算法三维重建的点云采用ICP算法完成配准，即统一坐标系；
(5).对MVS算法三维重建的点云与RGBD算法三维重建的点云，两点云文件进行KDTREE的半径算法，依靠欧氏距离的KDTREE半径进行点云计算，设计KDTREE半径参数为0.1mm，首先对MVS算法三维重建的点云的每个点，在KDTREE半径内寻找是否存在RGBD算法三维重建的点云中的点，若存在，则此点匹配成功，以总的匹配成功点数比MVS重建模型的总点数为P1，求出MVS算法三维重建的点云中符合RGBD算法三维重建的点云的比例；随后对RGBD算法三维重建的点云的每个点，在KDTREE半径内寻找是否存在MVS算法三维重建的点云中的点，若存在，则此点匹配成功，以总的匹配成功点数比总的RGBD重建模型点数为P2，求出在在RGBD算法三维重建的点云模型中符合MVS算法三维重建的点云的比例；
(6).计算MVS算法下的重建模型与RGBD重建模型的匹配程度P为P＝1-(1-P1)-(1-P2)。
5.一种基于三维重建技术的3D打印机逆反馈检测***，其特征在于，所述反馈检测***包括RGBD深度摄像头模块、打印平台、打印喷头、打印机运动机构、负反馈检测***控制模块、PC端模块，所述打印平台设于打印喷头的下方，经由所述打印喷头打印出的零件设于打印平台上，打印机运动机构带动打印喷头运动，打印出规则零件；所述RGBD深度摄像头模块包括RGBD深度摄像头和升降旋转机构，在升降旋转机构的作用下实现RGBD深度摄像头的旋转和升降动作；RGBD深度摄像头既能采集深度图像又能采集彩色图像；RGBD深度摄像头设于打印平台的侧方，围绕打印平台做圆周运动，且高度可变化；所述负反馈检测***控制模块用于控制3D打印机主体模块和RGBD深度摄像头模块完成相应动作，
负反馈检测***控制模块加载在负反馈检测***控制器内，负反馈检测***控制器连接报警装置，同时控制报警装置的启停，此外，负反馈检测***控制器内部嵌入有数据处理模块，所述数据处理模块内部设有点云处理程序、点云采集程序、模型匹配与相似度计算程序。
6.根据权利要求5所述的基于三维重建技术的3D打印机逆反馈检测***，其特征在于，点云处理程序的过程是：
(1)将稠密重建后或拼接完成后的点云，导入Point Cloud Library软件下；
(2)由于整个反馈检测过程中，RGBD深度摄像头始终围绕打印平台做旋转和上升运动，所以RGBD深度空间运动轨迹完全包裹打印平台和在打印零件，因此利用RGBD深度摄像头位姿信息，保留将RGBD深度摄像头位姿点包围空间内的点云，删除其余点云；
(3)对保留的点云进行SOR滤波，设置滤除掉的点为计算其最近的100个点的标准值小于1cm的点，也就是去除扫描过程中的离群点即噪声，获得完整的不含噪声的打印平台和在打印零件的点云；
(4)利用RANSAC算法提取点云中的最大平面，即为Y轴移动的打印平台；
(5)删除Y轴移动的打印平台的点云，根据打印平台的厚度，设置上下关联的删除尺寸，最后保留仅在打印零件的点云。
7.根据权利要求5所述的基于三维重建技术的3D打印机逆反馈检测***，其特征在于，所述模型匹配与相似度计算程序的过程是：
(1).将两个待进行模型匹配与相似度计算的三维模型转化为PLY点云文件，若待进行模型匹配与相似度计算的三维模型为重建模型，则需要将重建模型先转成STL格式的文件，并在自动完成补洞工作；完成补洞后，为获得均匀点云，最后将重建模型的STL格式文件转变为PLY格式；
(2).采用ICP算法对两个三维模型进行配准，即统一坐标系；
(3).对两个三维模型的两点云文件进行KDTREE的半径算法，依靠欧氏距离的KDTREE半径进行点云计算，设计KDTREE半径参数为0.1mm，即利用ICP的配准误差在0.1mm以下，进行对比；首先对第一个三维模型上的每个点，在KDTREE半径内寻找是否存在第二个三维模型上的点，若存在，则此点匹配成功，以总的匹配成功点数比总的第一个三维模型上的点数为K1，求出第一个三维模型的点云中符合第二个三维模型的比例；随后对第二个三维模型上的每个点，在KDTREE半径内寻找是否存在第一个三维模型上的点，若存在，则此点匹配成功，以总的匹配成功点数比总的第二个三维模型上的点数为K2，求出在打印零件的第二个三维模型中符合第一个三维模型的比例；
(4).计算两三维模型的匹配程度K为：K＝1-(1-K1)-(1-K2)。
8.根据权利要求5所述的基于三维重建技术的3D打印机逆反馈检测***，其特征在于，所述程序的实现主要采用开源的Point Cloud Library软件、VISUAL SFM软件和CMVS软件。
CN202210810379.7A 2022-07-11 2022-07-11 基于三维重建技术的3d打印机逆反馈检测方法及*** Active CN115139535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210810379.7A CN115139535B (zh) 2022-07-11 2022-07-11 基于三维重建技术的3d打印机逆反馈检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210810379.7A CN115139535B (zh) 2022-07-11 2022-07-11 基于三维重建技术的3d打印机逆反馈检测方法及***

Publications (2)

Publication Number Publication Date
CN115139535A true CN115139535A (zh) 2022-10-04
CN115139535B CN115139535B (zh) 2023-05-26

Family

ID=83411869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210810379.7A Active CN115139535B (zh) 2022-07-11 2022-07-11 基于三维重建技术的3d打印机逆反馈检测方法及***

Country Status (1)

Country Link
CN (1) CN115139535B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116373306A (zh) * 2023-02-13 2023-07-04 首都博物馆 一种馆藏文物防震随形卡固件的3d打印设计方法
CN117611498A (zh) * 2023-11-22 2024-02-27 深圳技术大学 一种图像补全方法、计算机以及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107672180A (zh) * 2017-09-06 2018-02-09 哈尔滨理工大学 一种基于逆向工程技术的3d打印精度检测方法
CN112070883A (zh) * 2020-08-28 2020-12-11 哈尔滨理工大学 一种基于机器视觉的3d打印过程三维重建方法
US20220022963A1 (en) * 2019-06-27 2022-01-27 Aike (Shanghai) Medical Equipment Co. Ltd. Intelligent Orthopedic External Fixing System Based on Cloud Platform
CN113996757A (zh) * 2021-12-06 2022-02-01 河北工业大学 3d打印砂型实时感知与智能监控***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107672180A (zh) * 2017-09-06 2018-02-09 哈尔滨理工大学 一种基于逆向工程技术的3d打印精度检测方法
US20220022963A1 (en) * 2019-06-27 2022-01-27 Aike (Shanghai) Medical Equipment Co. Ltd. Intelligent Orthopedic External Fixing System Based on Cloud Platform
CN112070883A (zh) * 2020-08-28 2020-12-11 哈尔滨理工大学 一种基于机器视觉的3d打印过程三维重建方法
CN113996757A (zh) * 2021-12-06 2022-02-01 河北工业大学 3d打印砂型实时感知与智能监控***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116373306A (zh) * 2023-02-13 2023-07-04 首都博物馆 一种馆藏文物防震随形卡固件的3d打印设计方法
CN116373306B (zh) * 2023-02-13 2023-10-20 首都博物馆 一种馆藏文物防震随形卡固件的3d打印设计方法
CN117611498A (zh) * 2023-11-22 2024-02-27 深圳技术大学 一种图像补全方法、计算机以及计算机可读存储介质

Also Published As

Publication number Publication date
CN115139535B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN115139535B (zh) 基于三维重建技术的3d打印机逆反馈检测方法及***
Lin et al. Online quality monitoring in material extrusion additive manufacturing processes based on laser scanning technology
CN110227876A (zh) 基于3d点云数据的机器人焊接路径自主规划方法
US10814439B2 (en) Turbomachine repair using additive manufacturing
CN100486476C (zh) 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及***
CN1301480C (zh) 计算机视觉三维彩色扫描***及其扫描方式
US20220322592A1 (en) Method and device for disassembling electronics
CN108182689A (zh) 应用于机器人搬运打磨领域的板状工件三维识别定位方法
CN110446906A (zh) 三维扫描设备和方法
CN111496789B (zh) 一种离线复杂曲面喷涂轨迹规划***及控制方法
CN105427293A (zh) 室内场景扫描重建的方法及装置
Milroy et al. Automated laser scanning based on orthogonal cross sections
CN107598775A (zh) 一种通过激光进行检测并多轴机器人打磨的方法
US20230368414A1 (en) Pick and place systems and methods
CN114283139A (zh) 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置
US20220292702A1 (en) Image processor, imaging device, robot and robot system
CN113240798B (zh) 基于数字孪生和ar的物料完备性智能检测与配置方法
CN116958178A (zh) 一种基于激光视觉的焊缝打磨自主规划方法及***
Filaretov et al. Method of combination of three-dimensional models of details with their CAD-models at the presence of deformations
CN114782617A (zh) 基于机器视觉进行高精度自动化喷胶的方法及***
Denker et al. On-line reconstruction of CAD geometry
Ding et al. 3D Modeling of the Rotationally Symmetric Objects Using Kinect
CN111125836A (zh) 基于图像的飞机结构件腹板加工区域自动构造方法
Samson In-situ Automated Scan-assisted Repair using Hybrid Manufacturing
CN115193643B (zh) 一种基于机器视觉的汽车内饰喷胶设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant