CN116258838A - 一种用于管片模具合模***的智能视觉引导方法 - Google Patents
一种用于管片模具合模***的智能视觉引导方法 Download PDFInfo
- Publication number
- CN116258838A CN116258838A CN202310538282.XA CN202310538282A CN116258838A CN 116258838 A CN116258838 A CN 116258838A CN 202310538282 A CN202310538282 A CN 202310538282A CN 116258838 A CN116258838 A CN 116258838A
- Authority
- CN
- China
- Prior art keywords
- image
- die
- coordinate
- bolt
- target bolt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Moulds For Moulding Plastics Or The Like (AREA)
Abstract
本发明提供了一种用于管片模具合模***的智能视觉引导方法。包括：获取管片模具对应目标螺栓部位的多个点坐标，并进行视觉标定，从而得到目标螺栓部位对应多个切面的第一坐标信息；基于第一坐标信息及预设映射关系进行图像拼接，得到目标螺栓部位的三维图像；调用螺栓定位算法获取三维图像中的螺栓有效信息，并基于三维图像进行图像降维、边缘检测和处理，得到处理后的图像；提取处理后的图像中的随机点进行定位测试，若定位测试结果合格，则根据处理后的图像的螺栓有效信息进行合模引导。通过对管片模具的点坐标进行选取并基于选取结果得到三维图像，从而进行合模引导可以更加精确的确定合模位置，使得合模过程更加准确。
Description
技术领域
本发明涉及智能视觉引导领域，特别涉及一种用于管片模具合模***的智能视觉引导方法。
背景技术
目前，随着科技的发展和视觉***的逐渐成熟，通过图像检测和深度学习结合的视觉***对工业生产进行指导已经越来越频繁，也大大的提升了工业生产效率。
然而，在螺栓合模控制方面，市场上自动螺栓合模设备结构普遍都比较简单，一般是根据录入螺栓位置信息来进行定位引导，但是在引导的过程中，录入的螺栓信息可能会因为人工失误等因素，导致与实际的螺栓位置信息存在不一致，导致合模操作失败。
因此，本发明提供了一种用于管片模具合模***的智能视觉引导方法。
发明内容
本发明提供了一种用于管片模具合模***的智能视觉引导方法，用以通过对管片模具的点坐标进行选取并基于选取结果得到三维图像，从而进行合模引导可以更加精确的确定合模位置，使得合模过程更加准确。
本发明提供一种用于管片模具合模***的智能视觉引导方法，包括：
步骤1：获取管片模具对应目标螺栓部位的多个点坐标，并进行视觉标定，从而得到目标螺栓部位对应多个切面的第一坐标信息；
步骤2：基于所述第一坐标信息及预设映射关系进行图像拼接，得到目标螺栓部位的三维图像；
步骤3：调用螺栓定位算法获取三维图像中的螺栓有效信息，并基于所述三维图像进行图像降维、边缘检测和处理，得到处理后的图像；
步骤4：提取所述处理后的图像中的随机点进行定位测试，若定位测试结果合格，则根据所述处理后的图像的螺栓有效信息进行合模引导。
在一种可能实现的方式中，得到目标螺栓部位对应多个切面的第一坐标信息之前，还包括：确定目标螺栓部位的多个切面，具体包括：
步骤01：引导预设自动拍摄***移动到可拍摄目标螺栓部位的指定方向上，对所述目标螺栓部位进行拍摄，得到第一图像，并锁定目标螺栓部位的合模位置；
步骤02：基于所述预设自动拍摄***，对所述合模位置进行拍摄，获取至少一个图像帧；
步骤03：基于所述指定方向以及所述预设自动拍摄***的拍摄焦距，对相应图像帧进行切面分析，得到目标螺栓部位的多个切面。
在一种可能实现的方式中，获取管片模具对应目标螺栓部位的多个点坐标，并进行视觉标定，从而得到目标螺栓部位对应多个切面的第一坐标信息，包括：
步骤11：基于预设自动拍摄***获取管片模具对应目标螺栓部位的部分点坐标，并逐一录入坐标***中按照第一拟合方法进行拟合，其中，属于同一切面的点坐标录入一个子坐标***中；
步骤12：确定当前切面除录入坐标***的部分点坐标外的任一随机点坐标到拟合线的最小距离，若所述最小距离在预设距离范围内，则将对应的部分点坐标作为当前切面的第一坐标信息；
反之，则基于当前子坐标***采用第二拟合方法进行重新拟合，并与任一随机点进行比较，得到第一坐标信息。
在一种可能实现的方式中，基于所述第一坐标信息及预设映射关系进行图像拼接，得到目标螺栓部位的三维图像，包括：
步骤21：基于第一坐标信息及对应预设映射关系，确定目标螺栓部位在实际空间下的第二坐标信息；
步骤22：基于所述第二坐标信息生成当前切面在实际空间下的切面图像；
步骤23：将每一切面图像基于对应子坐标***顺序进行排列，并基于切面垂直方向对不同子坐标***之间进行垂直拟合，得到目标螺栓部位在实际空间的三维图像。
在一种可能实现的方式中，调用螺栓定位算法获取三维图像中的螺栓有效信息，并基于所述三维图像进行图像降维、边缘检测和处理，得到处理后的图像，包括：
步骤31：调用螺栓定位算法包对采集到的三维图像进行处理，获取所述三维图像中的螺栓有效信息，并将处理的三维图像缓存至智能终端；
步骤32：对所述智能终端的缓存图像进行滤波处理；
并基于螺栓在色彩空间的特征确定设定值，并根据设定值与背景的差异进行背景剥离，得到第一处理图像；
步骤33：对第一处理图像进行边缘平滑处理，得到第二处理图像。
在一种可能实现的方式中，提取所述处理后的图像中的随机点进行定位测试，若定位测试结果合格，则根据所述处理后的图像的螺栓有效信息进行合模引导，包括：
步骤41：基于目标螺栓部位进行随机点的选取，并基于选取的随机点确定对应三维坐标的第一位置；
步骤42：基于所述第一位置与第二处理图像对应坐标系的对应位置进行比较；
若第一位置与第二处理图像的对应位置的位置偏差小于第一预设值，则定位测试合格；
反之，则判断定位测试不合格，并基于定位测试不合格的目标螺栓部位重新进行点坐标选取、拟合、图像处理，并重新进行定位测试；
步骤43：基于定位测试结果合格的图像及对应有效信息进行合模控制。
在一种可能实现的方式中，基于定位测试结果合格的图像及对应有效信息进行合模控制，包括：
步骤431：基于定位测试合格的图像，确定图像对应关键点的坐标，并基于所述关键点与图像对应的有效信息确定合模控制的控制指令；
步骤432：基于合模影响因素对所述控制指令进行调整，并基于调整后的控制指令对目标螺栓部位进行合模控制。
在一种可能实现的方式中，基于定位测试结果合格的图像及对应有效信息进行合模控制之后，还包括：进行合模结果审查，具体包括：
步骤51：基于合模控制完成的目标螺栓部位对合模部位与被合模部位的随机点进行选取，并得到同切面的当下竖直距离；
其中，合模部位和被合模部位所选取的随机点处于同一切面上；
步骤52：基于所属切面的不同对随机点进行分类，将分类结果上传至第一分类数据表中；
提取目标螺栓部位的历史合模过程中合模精准度与当前合模控制精准度相同的合模结果，构建第二分类数据表；
基于第二分类数据表确定当前合模精准度情况下合模部位和被合模部位在同切面的所有历史竖直距离的历史平均距离；
将同切面的历史平均距离与当下竖直距离进行第一比较；
步骤53：获取被合模部位在合模过程中每个切面的预设合模中心点坐标，同时，获取当前实际被合模部位所对应每个切面的实际合模中心点坐标；
步骤54：将同切面的预设合模中心点坐标与实际合模中心点坐标进行第二比较；
步骤55：基于第一比较结果作为结果审查的第一依据以及将第二比较结果作为结果审查的第二依据上传至智能终端；
步骤56：基于目标合模部位的实际合模需要，确定目标合模部位的允许合模误差，并基于所述允许合模误差确定第一比较结果的第一相对误差和第二比较结果的第二相对误差；
步骤57：判断所有第一比较结果是否小于第一相对误差，同时，判断所有第二比较结果是否小于第二相对误差；
若都小于对应的相对误差，则判断当前合模结果审查通过；
反之，则判断当前合模结果审查不通过，需要重新进行合模。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种用于管片模具合模***的智能视觉引导方法的流程图；
图2为本发明实施例中进行合模控制的流程图；
图3为本发明实施例中进行合模结果审查的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本发明实施例提供了一种用于管片模具合模***的智能视觉引导方法，如图1所示，包括：
步骤1：获取管片模具对应目标螺栓部位的多个点坐标，并进行视觉标定，从而得到目标螺栓部位对应多个切面的第一坐标信息；
步骤2：基于所述第一坐标信息及预设映射关系进行图像拼接，得到目标螺栓部位的三维图像；
步骤3：调用螺栓定位算法获取三维图像中的螺栓有效信息，并基于所述三维图像进行图像降维、边缘检测和处理，得到处理后的图像；
步骤4：提取所述处理后的图像中的随机点进行定位测试，若定位测试结果合格，则根据所述处理后的图像的螺栓有效信息进行合模引导。
该实施例中，目标螺栓部位是指管片模具中需要进行合模的螺栓部位。
该实施例中，点坐标是指通过预设拍摄***对目标螺栓部位的不同方位点进行获取，并得到对应点在坐标***中的点坐标。
该实施例中，视觉标定是指通过预设拍摄***进行拍摄，获取拍摄图像，并从目标图像中获取坐标信息，以便能够进一步进行处理、决策。
该实施例中，多个切面是指将预设拍摄***的拍摄角度作为拍摄基准角度，按照当前基准角度的平行方向作为目标螺栓部位的切面方向，并基于切面方向获取对应切面方向的点坐标，比如，横坐标包含10个独立且相邻的坐标点，那么就存在10个切面。
该实施例中，第一坐标信息是指目标螺栓部位的所有点坐标在对应切面中的坐标信息。
该实施例中，预设映射关系是基于预设自动拍摄***在拍摄过程中的焦距确定预设自动拍摄***的拍摄图像与目标螺栓部位在实际空间中的实际大小的对应映射关系。
该实施例中，图像拼接是指将不同切面之间的图像进行图像拼接，得到对应三维图像的点坐标。
该实施例中，螺栓有效信息是指目标螺栓部位在进行合模的过程中对应点坐标中会对合模结果造成影响的点坐标信息。
该实施例中，边缘检测是指为了提高检测的精度，利用局部Th和Tl的局部自适应Canny边缘检测（ACED）方法来检测主板螺栓孔位的边缘。
该实施例中，图像处理的过程主要涉及的关键技术包括二值化、平滑锐化，经过处理的图像会降低模糊程度。
该实施例中，随机点是指目标螺栓部位对应当前切面除录入坐标***的部分点坐标外的任一点。
该实施例中，定位测试是指基于随机点在三维图像中的位置，与处理后的处理图像中对应位置进行比较，确定两位置的偏差，从而得到定位测试结果。
该实施例中，合模引导是指通过处理后的图像对应的螺栓有效信息确定合模指令，从而基于合模指令进行合模引导。
上述技术方案的有益效果是：通过对管片模具的点坐标进行选取并基于选取结果得到三维图像，从而进行合模引导，可以更加精确的确定合模位置，使得合模过程更加准确。
实施例2：
基于实施例1的基础上，得到目标螺栓部位对应多个切面的第一坐标信息之前，还包括：确定目标螺栓部位的多个切面，具体包括：
步骤101：引导预设自动拍摄***移动到可拍摄目标螺栓部位的指定方向上，对所述目标螺栓部位进行拍摄，得到第一图像，并锁定目标螺栓部位的合模位置；
步骤102：基于所述预设自动拍摄***，对所述合模位置进行拍摄，获取至少一个图像帧；
步骤103：基于所述指定方向以及所述预设自动拍摄***的拍摄焦距，对相应图像帧进行切面分析，得到目标螺栓部位的多个切面。
该实施例中，预设自动拍摄***是指对当前目标螺栓部位的位置进行获取的拍摄***，其中，预设拍摄***可以围绕目标螺栓部位进行移动，从而找到更适合的拍摄角度。
该实施例中，目标螺栓部位是指管片模具中需要进行合模的螺栓部位。
该实施例中，指定方向是指通过预设自动拍摄***对目标螺栓部位进行拍摄时，目标螺栓部位最清晰的拍摄方向。
该实施例中，第一图像是指将预设自动拍摄***移动到指定位置后对目标螺栓部位进行拍摄得到的原始拍摄图像。
该实施例中，合模位置是指目标螺栓部位需要进行合模的具***置。
该实施例中，拍摄焦距是指预设自动拍摄***在对目标合模位置进行拍摄时对应的拍摄焦距，其中，拍摄焦距不同，对应的映射关系也不同。
该实施例中，切面分析是指基于拍摄图像及拍摄焦距，确定目标螺栓部位的切面方向及拍摄图像与目标螺栓部位在实际空间中的映射关系。
上述技术方案的有益效果是：通过确定目标螺栓部位的切面范修改那个，从而基于当前方向获取对应点坐标，从而得到三维图像，进行合模引导，可以更加精确的确定合模位置，使得合模过程更加准确。
实施例3：
基于实施例2的基础上，获取管片模具对应目标螺栓部位的多个点坐标，并进行视觉标定，从而得到目标螺栓部位对应多个切面的第一坐标信息，包括：
步骤11：基于预设自动拍摄***获取管片模具对应目标螺栓部位的部分点坐标，并逐一录入坐标***中按照第一拟合方法进行拟合，其中，属于同一切面的点坐标录入一个子坐标***中；
步骤12：确定当前切面除录入坐标***的部分点坐标外的任一随机点坐标到拟合线的最小距离，若所述最小距离在预设距离范围内，则将对应的部分点坐标作为当前切面的第一坐标信息；
反之，则基于当前子坐标***采用第二拟合方法进行重新拟合，并与任一随机点进行比较，得到第一坐标信息。
该实施例中，预设自动拍摄***是指对当前目标螺栓部位的位置进行获取的拍摄***，其中，预设拍摄***可以围绕目标螺栓部位进行移动，从而找到更适合的拍摄角度。
该实施例中，在进行点坐标的获取过程中，部分点的点坐标获取数量远大于随机点的点坐标数量。
该实施例中，第一拟合方法是指通过一定的拟合手段对获取到的点坐标进行拟合，比如，第一拟合方法可以使用最小二乘法进行曲线拟合。
该实施例中，属于同一切面的点坐标录入一个子坐标***中。
该实施例中，第二拟合方法可以使用解析表达式逼近离散数据的拟合方法。
该实施例中，随机点是指目标螺栓部位对应当前切面除录入坐标***的部分点坐标外的任一点。
该实施例中，最小距离是指当前随机点的点坐标距离对应切面的拟合线的最小距离。
该实施例中，第一坐标信息是指目标螺栓部位的所有点坐标在对应切面中的坐标信息。
上述技术方案的有益效果是：通过对管片模具的点坐标进行选取并基于选取结果得到三维图像，从而进行合模引导，可以更加精确的确定合模位置，使得合模过程更加准确。
实施例4：
基于实施例3的基础上，基于所述第一坐标信息及预设映射关系进行图像拼接，得到目标螺栓部位的三维图像，包括：
步骤21：基于第一坐标信息及对应预设映射关系，确定目标螺栓部位在实际空间下的第二坐标信息；
步骤22：基于所述第二坐标信息生成当前切面在实际空间下的切面图像；
步骤23：将每一切面图像基于对应子坐标***顺序进行排列，并基于切面垂直方向对不同子坐标***之间进行垂直拟合，得到目标螺栓部位在实际空间的三维图像。
该实施例中，第一坐标信息是指基于预设自动拍摄***拍摄的目标螺栓部位的所有点坐标在对应切面中的坐标信息。
该实施例中，预设映射关系是基于预设自动拍摄***的拍摄焦距确定的。
该实施例中，第二坐标信息是指目标螺栓部位的所有点坐标在实际空间的对应切面的坐标信息。
该实施例中，切面图像是指基于第二坐标信息确定每一切面的图像。
该实施例中，一个切面图像对应一个子坐标***。
该实施例中，垂直拟合是指基于切面图像的垂直方向对不同子坐标***之间的图像进行拟合，从而得到三维图像。
该实施例中，基于切面垂直方向对不同子坐标***之间进行垂直拟合的过程中，具体包括：
根据排列结果，得到初始图像，其中，所述初始图像为三维的；
对所述初始图像进行水平方向的切分，获取得到若干水平面，并捕获每个水平面的当下像素点构成的面轮廓；
对所述面轮廓按照粗细划分标准进行段拆分，并获取得到若干轮廓段，并根据max{
}，筛选最大段周长/>
，并锁定所述最大段周长/>
对应的轮廓段的第一粗细，其中，/>
表示第/>
个轮廓段的段周长，n1表示轮廓段的总个数；/>
对所有段周长进行同粗细大小的归类，获取得到若干组合段；
分别计算每个组合段的总周长，并从所有总周长中筛选最大总周长Z1，并锁定所述最大总周长对应轮廓段的第二粗细；
若
,对所述第一粗细以及第二粗细进行平均处理，获取第一平均粗细，对相应面轮廓进行轮廓填充处理，其中，Z表示对应面轮廓的轮廓总周长；
若
，从所有总周长中继续筛选第二大的总周长Z2，直到最大总周长Z1与后续筛选的所有第二大的总周长Z2的累加和大于Z/2，此时，则对后续所筛选的每个第二大的总周长的粗细进行获取，得到第三粗细；
对所述第一粗细、第二粗细以及所有第三粗细进行平均处理，得到第二平均粗细，对相应面轮廓进行轮廓填充处理；
基于所有填充后的轮廓所的对应的填充图像进行切面划分，来进行不同子坐标***之间的垂直拟合。
该实施例中，初始图像是将指的将切面进行顺序放置之后，得到的三维轮廓图像。
该实施例中，面轮廓指的是基于水平方向切分之后在该水平面上的像素构成轮廓。
该实施例中，粗细指的轮廓的粗细，且粗细划分标准指的是对轮廓进行粗细一致性的划分，来确定出各种轮廓段。
该实施例中，归类指的是将同粗细或者接近粗细所对应的段归为一类。
该实施例中，轮廓填充处理指的是根据平均粗细的轮廓来对原先的轮廓中小于该粗细的位置进行填充，且填充到与平均粗细一致。
通过对水平面上面轮廓的粗细提取以及粗细归类，来对段进行归类，通过周长大小的比较以及最后平均粗细的获取，实现对面轮廓的有效填充，保证像素点数据的完整性，为获取三维图像提供可靠基础。
上述技术方案的有益效果是：通过对选取的点坐标结果得到三维图像，从而进行合模引导，可以更加精确的确定合模位置，使得合模过程更加准确。
实施例5：
基于实施例4的基础上，调用螺栓定位算法获取三维图像中的螺栓有效信息，并基于所述三维图像进行图像降维、边缘检测和处理，得到处理后的图像，包括：
步骤31：调用螺栓定位算法包对采集到的三维图像进行处理，获取所述三维图像中的螺栓有效信息，并将处理的三维图像缓存至智能终端；
步骤32：对所述智能终端的缓存图像进行滤波处理；
并基于螺栓在色彩空间的特征确定设定值，并根据设定值与背景的差异进行背景剥离，得到第一处理图像；
步骤33：对第一处理图像进行边缘平滑处理，得到第二处理图像。
该实施例中，螺栓有效信息是指目标螺栓部位在进行合模的过程中对应点坐标中会对合模结果造成影响的点坐标信息。
该实施例中，滤波处理是指去掉原始数据中的随机误差，以提高数据质量和表达精度。滤波处理的方式很多，比如，最邻近重采样、基于局部移动窗口的中值滤波、平均值滤波以及基于频率域的低通滤波等。
该实施例中，色彩空间的特征是指目标螺栓定位的合模位置对应的颜色特征，其中，合模位置的颜色与其余部分颜色存在差异。
该实施例中，特征设定值是指基于目标螺栓部位在色彩空间的特征确定保留色彩的设定值。
该实施例中，背景剥离是指基于色彩空间的特征设定值将与目标螺栓部位的合模部位颜色存在差异的背景进行剥离。
该实施例中，第一处理图像是指基于色彩空间的特征设定值对目标螺栓定位的背景进行剥离后得到的处理图像。
该实施例中，边缘平滑处理是基于第一处理图像调整平滑值和平滑辅助数值后得到的处理结果。
该实施例中，第二处理图像是指经过边缘平滑处理后的第一处理图像。
上述技术方案的有益效果是：通过对基于点坐标得到的三维图像进行图像处理，从而进行合模引导，可以更加精确的确定合模位置，使得合模过程更加准确。
实施例6：
基于实施例5的基础上，提取所述处理后的图像中的随机点进行定位测试，若定位测试结果合格，则根据所述处理后的图像的螺栓有效信息进行合模控制，如图2所示，包括：
步骤41：基于目标螺栓部位进行随机点的选取，并基于选取的随机点确定对应三维坐标的第一位置；
步骤42：基于所述第一位置与第二处理图像对应坐标系的对应位置进行比较；
若第一位置与第二处理图像的对应位置的位置偏差小于第一预设值，则定位测试合格；
反之，则判断定位测试不合格，并基于定位测试不合格的目标螺栓部位重新进行点坐标选取、拟合、图像处理，并重新进行定位测试；
步骤43：基于定位测试结果合格的图像及对应有效信息进行合模控制。
该实施例中，随机点是指目标螺栓部位对应当前切面除录入坐标***的部分点坐标外的任一点。
该实施例中，第一位置是指选取的随机点在目标螺栓部位的三维图像上的三维坐标位置。
该实施例中，第二处理图像对应坐标系的对应位置是指与第一位置处于同一切面的点对应的拟合曲线与第一位置之间存在最小竖直距离的点的坐标位置。
该实施例中，第一预设值是指基于目标螺栓部位的合模精准度确定的最小偏差值，其中，合模精准度不同，对应的第一预设值也不同。
该实施例中，定位测试是指基于随机点在三维图像中的位置，与处理后的处理图像中对应位置进行比较，确定两位置的偏差，从而得到定位测试结果。
该实施例中，合模控制是指基于定位测试结果合格的图像及对应有效信息确定合模指令，并基于合模指令进行合模控制。
上述技术方案的有益效果是：通过对选取随机点对对应三维图像进行定位测试，并基于测试结果进行合模引导，可以更加精确的确定合模位置，使得合模过程更加准确。
实施例7：
基于实施例6的基础上，基于定位测试结果合格的图像及对应有效信息进行合模控制，包括：
步骤431：基于定位测试合格的图像，确定图像对应关键点的坐标，并基于所述关键点与图像对应的有效信息确定合模控制的控制指令；
步骤432：基于合模影响因素对所述控制指令进行调整，并基于调整后的控制指令对目标螺栓部位进行合模控制。
该实施例中，定位测试是指基于随机点在三维图像中的位置，与处理后的处理图像中对应位置进行比较，确定两位置的偏差，从而得到定位测试结果。
该实施例中，关键点是指在当前图像中会对合模结果造成影响的图像中的拟合线上包含的对应点。
该实施例中，合模控制的控制指令是指定位测试结果合格的图像和图像对应的有效信息确定当前合模的控制指令，比如，被合模部位应该向东偏南15度方向移动2.3cm等控制指令需要包括控制方向和控制距离。
该实施例中，合模影响因素包括：钢材质量、模具结构设计、合模对碰等。
该实施例中，合模控制是指通过处理后的图像对应的螺栓有效信息确定合模指令，从而基于合模指令进行合模控制。
上述技术方案的有益效果是：通过对选取随机点对对应三维图像进行定位测试，并基于测试结果确定控制指令，从而进行合模引导，可以使得合模过程更加准确。
实施例8：
基于实施例6的基础上，基于定位测试结果合格的图像及对应有效信息进行合模控制之后，还包括：进行合模结果审查，如图3所示，具体包括：
步骤51：基于合模控制完成的目标螺栓部位对合模部位与被合模部位的随机点进行选取，并得到同切面的当下竖直距离；
其中，合模部位和被合模部位所选取的随机点处于同一切面上；
步骤52：基于所属切面的不同对随机点进行分类，将分类结果上传至第一分类数据表中；
提取目标螺栓部位的历史合模过程中合模精准度与当前合模控制精准度相同的合模结果，构建第二分类数据表；
基于第二分类数据表确定当前合模精准度情况下合模部位和被合模部位在同切面的所有历史竖直距离的历史平均距离；
将同切面的历史平均距离与当下竖直距离进行第一比较；
步骤53：获取被合模部位在合模过程中每个切面的预设合模中心点坐标，同时，获取当前实际被合模部位所对应每个切面的实际合模中心点坐标；
步骤54：将同切面的预设合模中心点坐标与实际合模中心点坐标进行第二比较；
步骤55：基于第一比较结果作为结果审查的第一依据以及将第二比较结果作为结果审查的第二依据上传至智能终端；
步骤56：基于目标合模部位的实际合模需要，确定目标合模部位的允许合模误差，并基于所述允许合模误差确定第一比较结果的第一相对误差和第二比较结果的第二相对误差；
步骤57：判断所有第一比较结果是否小于第一相对误差，同时，判断所有第二比较结果是否小于第二相对误差；
若都小于对应的相对误差，则判断当前合模结果审查通过；
反之，则判断当前合模结果审查不通过，需要重新进行合模。
该实施例中，目标螺栓部位的合模位置不同，合模误差也存在差异，不同时间段内，目标螺栓部位的实际合模需要也存在差异。
该实施例中，合模部位是指目标螺栓部位上需要进行合模控制的部位，被合模部位是指处于被合模模具上的需要进行合模控制的部位。
该实施例中，当下竖直距离是指处于合模部位的随机点与对应同切面的被合模部位的随机点之间的竖直距离。
该实施例中，合模部位和被合模部位所选取的随机点处于同一切面上。
该实施例中，第一分类数据表是指将获取的随机点按照不同切面进行分类，并将分类结果上传到数据表中得到的。
该实施例中，合模精准度是指根据目标螺栓部位的实际合模需要预先设置好的精准度数据，其中，目标螺栓部位的合模要求不同，对应的合模精准度数据也不同。
该实施例中，第二分类数据表是指基于目标螺栓部位的历史合模过程中合模精准度与当前合模控制精准度相同的合模结果中与当前随机点对应的点按照不同切面进行分类，并将分类结果上传到数据表中得到的。
该实施例中，历史竖直距离是指目标螺栓部位的历史合模过程中合模精准度与当前合模控制精准度相同的合模结果中处于合模部位的随机点与对应同切面的被合模部位的随机点之间的竖直距离。
该实施例中，第一比较是指将同切面的历史平均距离与当下竖直距离进行比较，确定两比较距离的差值，得到第一比较结果。
该实施例中，预设合模中心点坐标是指被合模部位在进行合模控制之前基于合模精准度确定的合模位置在每一切面的切面中心点的坐标。
该实施例中，实际合模中心点坐标是指被合模部位在进行合模控制后得到的控制结果中，每一切面的切面中心点的坐标。
该实施例中，第二比较是将同切面的预设合模中心点坐标与实际合模中心点坐标进行比较。
该实施例中，结果审查是指对合模控制的结果进行审查，查看合模结果是否符合合模要求。
该实施例中，第一依据和第二依据构成了结果审查的综合审查依据。
该实施例中，实际合模需要是指目标合模部位在进行当前合模控制时实际的合模精准度情况。
该实施例中，允许合模误差是基于实际合模需要确定的。
该实施例中，第一相对误差是指在允许合模误差的指导下，同切面的历史平均距离与当下竖直距离进行比较的比较结果能够存在的最大误差。
该实施例中，第二相对误差是指在允许合模误差的指导下，同切面的预设合模中心点坐标与实际合模中心点坐标进行比较的比较结果能够存在的最大误差。
上述技术方案的有益效果是：通过对合模引导的结果进行结果审查，并通过两种依据进行结果审查，可以使得合模结果更加精确，及时排除不准确合模结果的影响。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种用于管片模具合模***的智能视觉引导方法，其特征在于，包括：
步骤1：获取管片模具对应目标螺栓部位的多个点坐标，并进行视觉标定，从而得到目标螺栓部位对应多个切面的第一坐标信息；
步骤2：基于所述第一坐标信息及预设映射关系进行图像拼接，得到目标螺栓部位的三维图像；
步骤3：调用螺栓定位算法获取三维图像中的螺栓有效信息，并基于所述三维图像进行图像降维、边缘检测和处理，得到处理后的图像；
步骤4：提取所述处理后的图像中的随机点进行定位测试，若定位测试结果合格，则根据所述处理后的图像的螺栓有效信息进行合模引导。
2.根据权利要求1所述的一种用于管片模具合模***的智能视觉引导方法，其特征在于，得到目标螺栓部位对应多个切面的第一坐标信息之前，还包括：确定目标螺栓部位的多个切面，具体包括：
步骤01：引导预设自动拍摄***移动到可拍摄目标螺栓部位的指定方向上，对所述目标螺栓部位进行拍摄，得到第一图像，并锁定目标螺栓部位的合模位置；
步骤02：基于所述预设自动拍摄***，对所述合模位置进行拍摄，获取至少一个图像帧；
步骤03：基于所述指定方向以及所述预设自动拍摄***的拍摄焦距，对相应图像帧进行切面分析，得到目标螺栓部位的多个切面。
3.根据权利要求2所述的一种用于管片模具合模***的智能视觉引导方法，其特征在于，获取管片模具对应目标螺栓部位的多个点坐标，并进行视觉标定，从而得到目标螺栓部位对应多个切面的第一坐标信息，包括：
步骤11：基于预设自动拍摄***获取管片模具对应目标螺栓部位的部分点坐标，并逐一录入坐标***中按照第一拟合方法进行拟合，其中，属于同一切面的点坐标录入一个子坐标***中；
步骤12：确定当前切面除录入坐标***的部分点坐标外的任一随机点坐标到拟合线的最小距离，若所述最小距离在预设距离范围内，则将对应的部分点坐标作为当前切面的第一坐标信息；
反之，则基于当前子坐标***采用第二拟合方法进行重新拟合，并与任一随机点进行比较，得到第一坐标信息。
4.根据权利要求3所述的一种用于管片模具合模***的智能视觉引导方法，其特征在于，基于所述第一坐标信息及预设映射关系进行图像拼接，得到目标螺栓部位的三维图像，包括：
步骤21：基于第一坐标信息及对应预设映射关系，确定目标螺栓部位在实际空间下的第二坐标信息；
步骤22：基于所述第二坐标信息生成当前切面在实际空间下的切面图像；
步骤23：将每一切面图像基于对应子坐标***顺序进行排列，并基于切面垂直方向对不同子坐标***之间进行垂直拟合，得到目标螺栓部位在实际空间的三维图像。
5.根据权利要求4所述的一种用于管片模具合模***的智能视觉引导方法，其特征在于，调用螺栓定位算法获取三维图像中的螺栓有效信息，并基于所述三维图像进行图像降维、边缘检测和处理，得到处理后的图像，包括：
步骤31：调用螺栓定位算法包对采集到的三维图像进行处理，获取所述三维图像中的螺栓有效信息，并将处理的三维图像缓存至智能终端；
步骤32：对所述智能终端的缓存图像进行滤波处理；
并基于螺栓在色彩空间的特征确定设定值，并根据设定值与背景的差异进行背景剥离，得到第一处理图像；
步骤33：对第一处理图像进行边缘平滑处理，得到第二处理图像。
6.根据权利要求5所述的一种用于管片模具合模***的智能视觉引导方法，其特征在于，提取所述处理后的图像中的随机点进行定位测试，若定位测试结果合格，则根据所述处理后的图像的螺栓有效信息进行合模控制，包括：
步骤41：基于目标螺栓部位进行随机点的选取，并基于选取的随机点确定对应三维坐标的第一位置；
步骤42：基于所述第一位置与第二处理图像对应坐标系的对应位置进行比较；
若第一位置与第二处理图像的对应位置的位置偏差小于第一预设值，则定位测试合格；
反之，则判断定位测试不合格，并基于定位测试不合格的目标螺栓部位重新进行点坐标选取、拟合、图像处理，并重新进行定位测试；
步骤43：基于定位测试结果合格的图像及对应有效信息进行合模控制。
7.根据权利要求6所述的一种用于管片模具合模***的智能视觉引导方法，其特征在于，基于定位测试结果合格的图像及对应有效信息进行合模控制，包括：
步骤431：基于定位测试合格的图像，确定图像对应关键点的坐标，并基于所述关键点与图像对应的有效信息确定合模控制的控制指令；
步骤432：基于合模影响因素对所述控制指令进行调整，并基于调整后的控制指令对目标螺栓部位进行合模控制。
8.根据权利要求6所述的一种用于管片模具合模***的智能视觉引导方法，其特征在于，基于定位测试结果合格的图像及对应有效信息进行合模控制之后，还包括：进行合模结果审查，具体包括：
步骤51：基于合模控制完成的目标螺栓部位对合模部位与被合模部位的随机点进行选取，并得到同切面的当下竖直距离；
其中，合模部位和被合模部位所选取的随机点处于同一切面上；
步骤52：基于所属切面的不同对随机点进行分类，将分类结果上传至第一分类数据表中；
提取目标螺栓部位的历史合模过程中合模精准度与当前合模控制精准度相同的合模结果，构建第二分类数据表；
基于第二分类数据表确定当前合模精准度情况下合模部位和被合模部位在同切面的所有历史竖直距离的历史平均距离；
将同切面的历史平均距离与当下竖直距离进行第一比较；
步骤53：获取被合模部位在合模过程中每个切面的预设合模中心点坐标，同时，获取当前实际被合模部位所对应每个切面的实际合模中心点坐标；
步骤54：将同切面的预设合模中心点坐标与实际合模中心点坐标进行第二比较；
步骤55：基于第一比较结果作为结果审查的第一依据以及将第二比较结果作为结果审查的第二依据上传至智能终端；
步骤56：基于目标合模部位的实际合模需要，确定目标合模部位的允许合模误差，并基于所述允许合模误差确定第一比较结果的第一相对误差和第二比较结果的第二相对误差；
步骤57：判断所有第一比较结果是否小于第一相对误差，同时，判断所有第二比较结果是否小于第二相对误差；
若都小于对应的相对误差，则判断当前合模结果审查通过；
反之，则判断当前合模结果审查不通过，需要重新进行合模。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310538282.XA CN116258838B (zh) | 2023-05-15 | 2023-05-15 | 一种用于管片模具合模***的智能视觉引导方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310538282.XA CN116258838B (zh) | 2023-05-15 | 2023-05-15 | 一种用于管片模具合模***的智能视觉引导方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116258838A true CN116258838A (zh) | 2023-06-13 |
| CN116258838B CN116258838B (zh) | 2023-09-19 |
Family
ID=86684652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310538282.XA Active CN116258838B (zh) | 2023-05-15 | 2023-05-15 | 一种用于管片模具合模***的智能视觉引导方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116258838B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372515A (zh) * | 2023-09-15 | 2024-01-09 | 钛玛科（北京）工业科技有限公司 | 一种自适应纠偏控制*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5380978A (en) * | 1991-07-12 | 1995-01-10 | Pryor; Timothy R. | Method and apparatus for assembly of car bodies and other 3-dimensional objects |
| CN108596173A (zh) * | 2018-04-19 | 2018-09-28 | 长春理工大学 | 单相机全视角线号实时识别装置及其检测方法 |
| CN110136211A (zh) * | 2019-04-18 | 2019-08-16 | 中国地质大学（武汉） | 一种基于主动双目视觉技术的工件定位方法及*** |
| CN111354047A (zh) * | 2018-12-20 | 2020-06-30 | 精锐视觉智能科技（深圳）有限公司 | 一种基于计算机视觉的摄像模组定位方法及*** |
| WO2022073427A1 (zh) * | 2020-10-10 | 2022-04-14 | 达闼机器人有限公司 | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 |
| CN114792324A (zh) * | 2022-05-16 | 2022-07-26 | 河北科技大学 | 轧钢机螺栓头部视觉分割与定位方法 |
| CN115719339A (zh) * | 2022-11-18 | 2023-02-28 | 山东深图智能科技有限公司 | 基于双相机标定的螺栓尺寸高精度测量方法和装置 |
| CN115774025A (zh) * | 2022-12-02 | 2023-03-10 | 爱丁堡（南京）光电设备有限公司 | 一种螺栓外表面质量检测的成像和照明方法 |
-
2023
- 2023-05-15 CN CN202310538282.XA patent/CN116258838B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5380978A (en) * | 1991-07-12 | 1995-01-10 | Pryor; Timothy R. | Method and apparatus for assembly of car bodies and other 3-dimensional objects |
| CN108596173A (zh) * | 2018-04-19 | 2018-09-28 | 长春理工大学 | 单相机全视角线号实时识别装置及其检测方法 |
| CN111354047A (zh) * | 2018-12-20 | 2020-06-30 | 精锐视觉智能科技（深圳）有限公司 | 一种基于计算机视觉的摄像模组定位方法及*** |
| CN110136211A (zh) * | 2019-04-18 | 2019-08-16 | 中国地质大学（武汉） | 一种基于主动双目视觉技术的工件定位方法及*** |
| WO2022073427A1 (zh) * | 2020-10-10 | 2022-04-14 | 达闼机器人有限公司 | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 |
| CN114792324A (zh) * | 2022-05-16 | 2022-07-26 | 河北科技大学 | 轧钢机螺栓头部视觉分割与定位方法 |
| CN115719339A (zh) * | 2022-11-18 | 2023-02-28 | 山东深图智能科技有限公司 | 基于双相机标定的螺栓尺寸高精度测量方法和装置 |
| CN115774025A (zh) * | 2022-12-02 | 2023-03-10 | 爱丁堡（南京）光电设备有限公司 | 一种螺栓外表面质量检测的成像和照明方法 |
Non-Patent Citations (3)
| Title |
|---|
| E. ALDAO等: "Comparison of deep learning and analytic image processing methods for autonomous inspection of railway bolts and clips", CONSTRUCTION AND BUILDING MATERIALS * |
| 卢军;孙姝丽;宋岳秦;: "面向自动化精密装配的视觉定位引导***", 组合机床与自动化加工技术, no. 02 * |
| 胡绍海;易果;: "基于暗边缘特征的动车底板螺栓故障检测", 电脑知识与技术, no. 13 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372515A (zh) * | 2023-09-15 | 2024-01-09 | 钛玛科（北京）工业科技有限公司 | 一种自适应纠偏控制*** |
| CN117372515B (zh) * | 2023-09-15 | 2024-06-11 | 钛玛科（北京）工业科技有限公司 | 一种自适应纠偏控制*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116258838B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082464B (zh) | 除尘机焊接过程中焊缝数据的识别方法及*** | |
| CN109632808B (zh) | 棱边缺陷检测方法、装置、电子设备及存储介质 | |
| CN107228860B (zh) | 一种基于图像旋转周期特性的齿轮缺陷检测方法 | |
| KR20020077420A (ko) | 시험편의 주조 결함을 자동으로 검출하는 검출 방법 | |
| CN111982916A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法及*** | |
| CN110349199B (zh) | 一种物体圆度测量方法 | |
| CN108257171A (zh) | 基于光视觉的汽车雷达装配孔径检测方法 | |
| CN116258838B (zh) | 一种用于管片模具合模***的智能视觉引导方法 | |
| CN114706358B (zh) | 一种直缝焊管的焊接工艺信息处理方法及*** | |
| JP2014006222A (ja) | コンクリート表面の変状検出方法及び装置 | |
| CN110889823A (zh) | 一种SiC缺陷的检测方法和*** | |
| CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
| CN115018846B (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
| JP2015049133A (ja) | 表面欠陥検査装置および表面欠陥検査方法 | |
| CN110728659A (zh) | 缺陷合并的方法、装置、计算机设备及存储介质 | |
| CN115797314A (zh) | 零件表面缺陷检测方法、***、设备及存储介质 | |
| CN113066088A (zh) | 工业检测中的检测方法、检测装置和存储介质 | |
| CN114651276A (zh) | 制造方法 | |
| CN117058411B (zh) | 电池棱边外形瑕疵识别方法、装置、介质和设备 | |
| CN114894808A (zh) | 基于机器视觉的热管管口缺陷检测装置及其方法 | |
| CN113781419A (zh) | 一种柔性pcb板缺陷检测方法、视觉***、装置及介质 | |
| CN114881952A (zh) | 一种铸件缺陷区域检测及边缘准确分割方法 | |
| CN114693626A (zh) | 芯片表面缺陷的检测方法、装置及计算机可读存储介质 | |
| CN112837285B (zh) | 一种板面图像的边缘检测方法及装置 | |
| CN113222880A (zh) | 分析检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |