CN115586749A - 基于机器视觉的工件加工轨迹控制方法及相关装置 - Google Patents

Abstract

本发明涉及人工智能领域，公开了一种基于机器视觉的工件加工轨迹控制方法及相关装置，用于提高加工轨迹控制的准确率。方法包括：根据目标加工工艺信息和工件信息集合生成目标工件的加工轨迹，得到标准加工轨迹；对当前工件加工实际状态进行图像采集，得到在加工检测时间内的多个红外图像；对多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；根据标准加工轨迹对待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；将轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果；对轨迹偏移检测结果进行应对策略匹配，得到目标策略，并将目标策略传输至加工控制终端。

Description

基于机器视觉的工件加工轨迹控制方法及相关装置

技术领域

本发明涉及人工智能领域，尤其涉及一种基于机器视觉的工件加工轨迹控制方法及相关装置。

背景技术

目标工件曲面复杂程度越来越高，对控制***的加工效率和平稳性的要求也越来越高；在航空、航天、能源和国防等领域中对复杂曲面零部件的加工有较高的加工要求。

目前，大多数是通过使用轨迹上相邻的三点求取外接圆计算曲率限速，缺点在于轨迹点较密集时对数值精度敏感，且无法较准确地处理曲率换向时的限速值，导致在工件加工轨迹分析及控制时准确率较低。

发明内容

本发明提供了一种基于机器视觉的工件加工轨迹控制方法及相关装置，用于提高加工轨迹分析控制时的准确率。

本发明第一方面提供了一种基于机器视觉的工件加工轨迹控制方法，所述基于机器视觉的工件加工轨迹控制方法包括：从预置的数据库中获取目标工件的工件信息集合，并根据所述工件信息集合对所述目标工件进行加工工艺匹配，得到目标加工工艺信息；根据所述目标加工工艺信息和所述工件信息集合生成所述目标工件的加工轨迹，得到标准加工轨迹；基于预设的加工检测时间和预置的图像采集终端对当前工件加工实际状态进行图像采集，得到在所述加工检测时间内的多个红外图像；对所述多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；根据所述标准加工轨迹对所述待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；将所述轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果，其中，所述轨迹偏移检测结果为轨迹偏离和轨迹未偏离；对所述轨迹偏移检测结果进行应对策略匹配，得到对应的目标策略，并将所述目标策略传输至预置的加工控制终端。

结合第一方面，在本发明第一方面的第一实施方式中，所述根据所述目标加工工艺信息和所述工件信息集合生成所述目标工件的加工轨迹，得到标准加工轨迹，包括：通过所述工件信息集合中结构信息进行三维重构，得到与所述目标工件对应的初始工件三维模型；通过所述工件信息集合中属性信息对所述工件三维模型进行属性赋值，得到目标工件三维模型；通过所述目标加工工艺信息对所述目标工件三维模型进行加工区域分析，得到多个加工区域；对所述多个加工区域进行加工轨迹标定，生成标准加工轨迹。

结合第一方面的第一实施方式，在本发明第一方面的第二实施方式中，所述通过所述目标加工工艺信息对所述目标工件三维模型进行加工区域分析，得到多个加工区域，包括：通过所述目标加工工艺信息进行加工流程匹配，得到对应的工件加工流程；基于所述工件加工流程对所述目标工件三维模型进行加工区域划分，得到多个加工区域。

结合第一方面，在本发明第一方面的第三实施方式中，所述对所述多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹，包括：对所述多个红外图像进行二值化处理，得到对应的多个二值化图像；对所述多个二值化图像进行热度点分析，得到对应的热度点集合；基于预置的空间坐标系，对所述热度点集合中每一热度点进行坐标转换，得到热度点坐标集合；对所述热度点坐标集合进行归一化处理，得到待识别加工轨迹。

结合第一方面，在本发明第一方面的第四实施方式中，所述根据所述标准加工轨迹对所述待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合，包括：对所述标准加工轨迹进行曲线映射处理，得到对应的第一加工轨迹曲线；对所述待识别加工轨迹进行曲线映射处理，得到对应的第二加工轨迹曲线；对所述第一加工轨迹曲线及所述第二加工轨迹曲线进行位移偏离分析，得到对应的轨迹偏移数据集合；

结合第一方面的第四实施方式，在本发明第一方面的第五实施方式中，所述对所述第一加工轨迹曲线及所述第二加工轨迹曲线进行位移偏离分析，得到对应的轨迹偏移数据集合，包括：对所述第一加工轨迹曲线及所述第二加工轨迹曲线进行曲线差值计算，得到对应的差值计算结果集合；基于预置的偏离位移阈值，分别对所述差值计算结果集合中每一差值计算结果进行筛选，得到超过所述偏离位移阈值的第一数据集合及未超过所述偏离位移阈值的第二数据集合；对所述第一数据集合及所述第二数据集合进行比值计算，得到比值结果，并根据所述比值结果确定对应的轨迹偏移数据集合。

结合第一方面，在本发明第一方面的第六实施方式中，所述对所述轨迹偏移检测结果进行应对策略匹配，得到对应的目标策略，并将所述目标策略传输至预置的加工控制终端，包括：基于预置的应对策略数据库，通过所述工件信息集合进行应对策略采集，得到应对策略集合；对所述轨迹偏移检测结果进行分词处理，得到对应的分词结果；根据所述分词结果及所述应对策略集合进行关键字匹配，得到对应的目标策略并将所述目标策略传输至预置的加工控制终端。

本发明第二方面提供了一种基于机器视觉的工件加工轨迹控制方法装置，所述基于机器视觉的工件加工轨迹控制方法装置包括：

获取模块，用于从预置的数据库中获取目标工件的工件信息集合，并根据所述工件信息集合对所述目标工件进行加工工艺匹配，得到目标加工工艺信息；

生成模块，用于根据所述目标加工工艺信息和所述工件信息集合生成所述目标工件的加工轨迹，得到标准加工轨迹；

采集模块，用于基于预设的加工检测时间和预置的图像采集终端对当前工件加工实际状态进行图像采集，得到在所述加工检测时间内的多个红外图像；

分析模块，用于对所述多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；

计算模块，用于根据所述标准加工轨迹对所述待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；

检测模块，用于将所述轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果，其中，所述轨迹偏移检测结果为轨迹偏离和轨迹未偏离；

匹配模块，用于对所述轨迹偏移检测结果进行应对策略匹配，得到对应的目标策略，并将所述目标策略传输至预置的加工控制终端。

本发明第三方面提供了一种基于机器视觉的工件加工轨迹控制方法设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于机器视觉的工件加工轨迹控制方法设备执行上述的基于机器视觉的工件加工轨迹控制方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于机器视觉的工件加工轨迹控制方法。

本发明提供的技术方案中，根据目标加工工艺信息和工件信息集合生成目标工件的加工轨迹，得到标准加工轨迹；对当前工件加工实际状态进行图像采集，得到在加工检测时间内的多个红外图像；对多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；根据标准加工轨迹对待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；将轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果；对轨迹偏移检测结果进行应对策略匹配，得到目标策略，并将目标策略传输至加工控制终端，本发明通过对工件加工过程进行加工轨迹的实时检测，并且对加工过程进行动态调整，使得轨迹偏移检测的准确率提高，进而提高了加工轨迹控制的准确率。

附图说明

图1为本发明实施例中基于机器视觉的工件加工轨迹控制方法的一个实施例示意图；

图2为本发明实施例中对多个红外图像进行初始加工轨迹分析过程的流程图；

图3为本发明实施例中对待识别加工轨迹进行位移偏离分析过程的流程图；

图4为本发明实施例中对第一加工轨迹曲线及第二加工轨迹曲线进行位移偏离分析过程的流程图；

图5为本发明实施例中基于机器视觉的工件加工轨迹控制方法装置的一个实施例示意图；

图6为本发明实施例中基于机器视觉的工件加工轨迹控制方法设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于机器视觉的工件加工轨迹控制方法、装置、设备及存储介质，用于提高加工轨迹分析控制的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于机器视觉的工件加工轨迹控制方法的一个实施例包括：

S101、从预置的数据库中获取目标工件的工件信息集合，并根据工件信息集合对目标工件进行加工工艺匹配，得到目标加工工艺信息；

可以理解的是，本发明的执行主体可以为基于机器视觉的工件加工轨迹控制方法装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，数据库用于实现工件的加工工艺信息构建和存储，其中，加工工艺信息构建包括特征识别和建立工件信息集合，采用智能算法识别工艺顺序和生成加工工艺信息；基于工件信息特征识别结果的加工工艺信息实现加工工艺信息中的参数优化，基于工件信息特征识别结果的的加工工艺信息实现工件工艺特征的工件信息特征识别结果的计算和对加工工艺信息选择，进而构建得到工件信息集合。本实施例将目标工件进行特征分析，包括精度特征识别、尺寸识别和形状识别；将所识别得到特征信息，整理归类，生成完整的工件信息集合；从工艺信息库中选取合适的一个或者多个加工工艺信息；将选取出的工艺信息进一步完善，根据目标工件的特征信息，生成完整的加工工艺信息，允许多个工艺信息的不同加工工艺信息存在，根据工件信息集合对目标工件进行加工工艺匹配，得到目标加工工艺信息。进一步地，根据目标加工工艺信息制定中的各种条件，添加不同的约束以保证自动生成的加工工艺信息具有可行性；采用智能算法根据约束条件对每一个候选的加工工艺信息进行工艺顺序进行自动重排；将每个候选加工工艺信息的不同工艺顺序生成完整的目标加工工艺信息。

S102、根据目标加工工艺信息和工件信息集合生成目标工件的加工轨迹，得到标准加工轨迹；

具体的，首先获取目标工件的目标加工工艺信息，根据目标加工工艺信息确定目标工件的生产工艺信息；其次根据生产工艺信息配置目标工件对应的加工结构信息，并获取加工结构信息对应的加工轨迹信息；然后基于生产工艺信息与加工轨迹信息建立目标工件的初始工件三维模型；最后基于初始工件三维模型进行模型属性赋值，得到目标工件三维模型，再根据目标工件三维模型对目标工件进行加工。基于目标加工工艺信息确定目标工件的生产工艺信息，再由生产工艺信息配置对应的加工结构信息，进而获取加工结构信息的加工轨迹信息并进行属性赋值，构建出目标工件三维模型。根据建立的目标工件三维模型进行加工区域分析，得到多个加工区域，再进行加工轨迹标定，生成标准加工轨迹，本实施例有效减少人工操作降低成本，提高工作效率，避免了人工操作所导致的错误，降低了错误率。

S103、基于预设的加工检测时间和预置的图像采集终端对当前工件加工实际状态进行图像采集，得到在加工检测时间内的多个红外图像；

具体的，基于预设的加工检测时间和预置的图像采集终端对当前工件加工实际状态进行图像采集，对采集的原始图像进行预处理，其中，预处理包括图像直方图均衡和去噪。图像直方图均衡包括：首先对图像进行沿第一预设方向的直方图分析，如果存在低于设定灰度阈值的区域，则表明找到了目标工件的一部分，进入计算外轮廓步骤，如果没有找到低于设定阈值的区域，则进行双向搜索，若双向搜索仍然没有找到低于设定阈值的区域，则提示未找到目标工件；按照在第二预设方向上的搜索策略，对第一预设方向上进行搜索；经过上述两次搜索，得到均衡后的图像。图像的去噪方法为：对图像首先要进行高斯滤波，得到一个降噪的图像，然后对图像与高斯滤波后的图形做比较，求出模，以此模作为Canny算子轮廓提取的图像；得到轮廓之后，要对轮廓进行面积计算，然后对磁瓦的面积做理论计算，此理论面积仅计算一次，然后存储在数据库中，供下一次调用；如果数据库中已经存在此参数，则直接调用。通过对采集的原始图像进行图像直方图均衡、去噪两个步骤的预处理，解决了目标工件检测结果易受图像噪点和图像灰度分布不均的影响而造成轨迹分析稳定性差的问题，从而大大提高了轨迹分析的稳定性与准确性。

S104、对多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；

具体的，根据训练完成的轨迹分析模型的输入多个红外图像，对多个红外图像进行二值化处理，得到二值化处理后的图像。由于输入的多个红外图像的分辨率大小不能确定，而轨迹分析模型的输入维度通常已经固定，为了使轨迹分析模型对多个红外图像能够正常处理，根据多个红外图像的分辨率以及轨迹分析模型的输入维度对多个红外图像进行二值化处理。其中，轨迹分析模型包括三层卷积网络、池化层和两层卷积网络。将二值化处理后的图像输入到轨迹分析模型中，通过轨迹分析模型的前设定个数的卷积层进行卷积处理，得到经过该前设定个数的卷积层卷积处理的图像特征。对多个二值化图像进行热度点分析，得到对应的热度点集合，基于预置的空间坐标系，对热度点集合中每一热度点进行坐标转换，得到热度点坐标集合，基于该热度点坐标集合确定目标物在多个红外图像中的位置区域，基于该位置区域对热度点集合中每一热度点进行坐标转换，得到热度点坐标集合，对热度点坐标集合进行归一化处理，得到待识别加工轨迹。

S105、根据标准加工轨迹对待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；

具体的，根据目标工件的工件信息集合从数据库中查询预置的标准加工轨迹，然后根据标准加工轨迹对待识别加工轨迹进行轨迹偏离计算，首先扫描目标工件获取三维点云数据，依据算法提取待识别加工轨迹并且进行坐标变换，将其转换至机器人末端执行器坐标系下，然后对目标工件和待识别加工轨迹进行编码，储存到数据库中；获取待识别加工轨迹：通过网络通信获取加工场景中的实验数据和轨迹提取场景中的加工数据，然后编写标定算法计算出坐标系变换矩阵，然后对标准加工轨迹和待识别加工轨迹进行轨迹偏移计算，得到多个轨迹偏移点数据，对多个轨迹偏移点数据进行集合转换，得到轨迹偏移数据集合。对于目标工件，自动加工生产线只需要获取一次加工轨迹，即可对同种类型的工件进行加工，如果更换机器人自动加工生产线上的目标工件，要在轨迹提取场景中将目标工件进行扫描提取加工轨迹并进行坐标转换，然后编码储存；机器人加工场景中的上位机通过网络通信访问数据库，选择相应的加工轨迹数据并将其传输给指定的机器人加工生产线以完成加工任务。

S106、将轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果，其中，轨迹偏移检测结果为轨迹偏离和轨迹未偏离；

具体的，将轨迹偏移数据集合输入轨迹偏移检测模型中的生成网络，其中，生成网络包括：双层GRU网络、两层全连接网络和输出层；通过双层GRU网络对轨迹偏移数据集合进行特征编码，得到目标编码特征；通过两层全连接网络对目标编码特征进行特征运算，得到特征运算信息；将特征运算信息输入输出层进行转换，得到轨迹偏移检测结果，其中，轨迹偏移检测结果为轨迹偏离和轨迹未偏离。本实施例中，双层GRU网络由两层GRU组成，第一层为指挥层由一个单向GRU连接而成，共有256个GRU单元，将第一层输出的特征向量输入对应发散层中第一组16单元单向GRU连接的每个GRU单元，发散层中第一个GRU单元输出一个整数型数值，第二个GRU单元输出一个整数型数值，……第16个GRU单元输出一个整数型数值，将所有输出的整数型数值组成一个数值向量，其中，输出层输出一个概率值，该概率值的范围为[0,1]，当该概率值为[0,0.5)时，确定轨迹偏移检测结果为轨迹偏离，当该概率值为[0.5,1]时，确定轨迹偏移检测结果为未轨迹偏离。

S107、对轨迹偏移检测结果进行应对策略匹配，得到对应的目标策略，并将目标策略传输至预置的加工控制终端。

具体的，根据轨迹偏移检测结果获取待处理的第一目标策略的元素信息。进入应对策略数据库遍历库中预先设置的第二目标策略，判断对应对策略数据库中所有目标策略的遍历是否结束，若未结束则从应对策略数据库中取出目标策略。判断第一目标策略的针对对象与应对策略数据库中的目标策略的针对对象（具体是针对客体）是否重叠，若重叠，则将该第一目标策略作为本实施例中的轨迹偏移检测结果对应的目标策略加入候选集中，并标记目标策略的元素信息即针对客体。判断第一目标策略的转化情境与应对策略数据库中的目标策略的转化情境是否重叠，若重叠，则将目标策略加入到候选集中并标记目标策略的转化情境，按照标记的元素数量的多少对候选集中的目标策略进行排序后输出，并返回对应的目标策略，并将目标策略传输至预置的加工控制终端。

本发明实施例中，根据目标加工工艺信息和工件信息集合生成目标工件的加工轨迹，得到标准加工轨迹；对当前工件加工实际状态进行图像采集，得到在加工检测时间内的多个红外图像；对多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；根据标准加工轨迹对待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；将轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果；对轨迹偏移检测结果进行应对策略匹配，得到目标策略，并将目标策略传输至加工控制终端，本发明通过对工件加工过程进行加工轨迹的实时检测，并且对加工过程进行动态调整，使得轨迹偏移检测的准确率提高，进而提高了加工轨迹控制的准确率。

在一具体实施例中，执行步骤S103的过程可以具体包括如下步骤：

（1）通过工件信息集合中结构信息进行三维重构，得到与目标工件对应的初始工件三维模型；

（2）通过工件信息集合中属性信息对工件三维模型进行属性赋值，得到目标工件三维模型；

（3）通过目标加工工艺信息对目标工件三维模型进行加工区域分析，得到多个加工区域；

（4）对多个加工区域进行加工轨迹标定，生成标准加工轨迹。

具体的，服务器将工件信息集合中结构信息的结构点云信息输入预置的第一训练模型，其中，第一训练模型包括：双层点云卷积网络、批量归一化层、特征融合层和分类网络；服务器通过双层点云卷积网络对结构点云信息进行特征提取，得到第一特征信息；服务器将第一特征信息输入批量归一化层进行归一化处理，得到归一化特征信息，从第二层点云卷积网络中每一个卷积层生成的第一特征信息，都通过批量归一化层进行批量归一化处理，将特征信息的数据进行规范化处理，用于提升模型的收敛性；服务器将归一化特征信息输入特征融合层进行特征融合处理，得到第二特征信息，特征融合层用于将目标特征信息的特细粒度细化，将检测精度扩大，主要通过将第二层点云卷积网络最后一个个池化层与最后一个卷积层进行连接，并将对应池化或者卷积后的特征信息叠加，将特征的分辨率进一步扩大，细化其特征细粒度；服务器将第二特征信息输入分类网络，并通过分类网络对第二特征信息中的多个像素点进行预测，生成第二特征信息对应的预测结果，分类层为多个1x1的卷积层，用于预测第二特征信息中的特征框位置，而其输出的数据格式为先验框数量x（5+分类编号），在第一训练模型中，先验框数量为5，分类编号为20位字符，括号中5代表特征信息边界框的中心二维坐标、宽高尺寸、置信度，其中，特征信息边界框的置信度由IOU(Intersection over Union，交并比)进行表示；服务器根据预测结果和结构点云信息对第一训练模型的参数进行优化，直至第一训练模型收敛，得到三维重构模型。通过工件信息集合中属性信息对工件三维模型进行属性赋值，得到目标工件三维模型；通过目标加工工艺信息对目标工件三维模型进行加工区域分析，得到多个加工区域；分别提取多个加工区域中的轨迹点，然后对多个加工区域进行加工轨迹标定，将标定完成的加工轨迹进行合成，生成标准加工轨迹。

进一步地，服务器将结构点云信息输入双层点云卷积网络中的第一层点云卷积网络，通过第一层点云卷积网络对结构点云信息中的标注进行维度聚类，并生成结构点云信息对应的先验框，第一层点云卷积网络是一个分类网络，通过对标注信息进行维度聚类来确定预测框的区域，得到先验框。先验框用于划定目标特征区域的中心点及尺寸，使第二层点云卷积网络的学习更加容易；服务器将带有先验框的结构点云信息输入双层点云卷积网络中的第二层点云卷积网络，通过第二层点云卷积网络提取结构点云信息的第一特征信息，并调整先验框的位置范围，第二层点云卷积网络是经第一层点云卷积网络的分类模型修改而来，不同的是，前者是检测模型训练网络，后者是分类模型训练网络。将结构点云信息输入该网络，提取对应的特征信息；随后经过每一次卷积，都将特征信息的特征深化、细化及修正。

在一具体实施例中，通过目标加工工艺信息对目标工件三维模型进行加工区域分析，得到多个加工区域的过程可以具体包括如下步骤：

（1）通过目标加工工艺信息进行加工流程匹配，得到对应的工件加工流程；

（2）基于工件加工流程对目标工件三维模型进行加工区域划分，得到多个加工区域。

具体的，通过目标加工工艺信息进行加工流程匹配，得到对应的工件加工流程，基于工件加工流程对目标工件三维模型进行加工区域划分，得到多个加工区域，获取包含目标工件三维模型的多个区域信息；在目标工件三维模型的表面添加多个区域标识；根据多个区域标识，将目标工件三维模型的表面和预设坐标系进行重合匹配；根据重合匹配后的目标工件三维模型的表面提取得到多个加工区域。

在一具体实施例中，如图2所示，执行步骤S105的过程可以具体包括如下步骤：

S201、对多个红外图像进行二值化处理，得到对应的多个二值化图像；

S202、对多个二值化图像进行热度点分析，得到对应的热度点集合；

S203、基于预置的空间坐标系，对热度点集合中每一热度点进行坐标转换，得到热度点坐标集合；

S204、对热度点坐标集合进行归一化处理，得到待识别加工轨迹。

具体的，服务器对多个红外图像进行二值化处理，得到对应的多个二值化图像；对多个二值化图像进行热度点分析，得到对应的热度点集合，其中，在多个二值化图像的每一个热度图上，确定概率值大于预设阈值的多个坐标点；确定多个坐标点在多个红外图像中各自对应的像素点；基于多个坐标点在多个红外图像中各自对应的像素点，确定目标物在多个红外图像中对应的候选框集合，得到至少一个热度图各自对应的候选框集合；基于至少一个热度图各自对应的候选框集合，确定目标工件在多个红外图像中对应的热度点集合。其中，基于非极大值抑制算法，对至少一个热度图各自对应的候选框集合进行合并，得到至少一个热度图各自对应的一个候选框；基于非极大值抑制算法，对至少一个热度图各自对应的候选框进行合并，将合并后的候选框确定为目标物在多个红外图像中的热度点集合，对热度点集合中每一热度点进行坐标转换，得到热度点坐标集合，对热度点坐标集合进行归一化处理，得到待识别加工轨迹。

在一具体实施例中，如图3所示，执行步骤S106的过程可以具体包括如下步骤：

S301、对标准加工轨迹进行曲线映射处理，得到对应的第一加工轨迹曲线；

S302、对待识别加工轨迹进行曲线映射处理，得到对应的第二加工轨迹曲线；

S303、对第一加工轨迹曲线及第二加工轨迹曲线进行位移偏离分析，得到对应的轨迹偏移数据集合。

具体的，对标准加工轨迹进行曲线映射处理，得到对应的第一加工轨迹曲线，利用曲线拟合函数求取标准加工轨迹和待识别加工轨迹对应的轨迹曲线；对待识别加工轨迹进行曲线映射处理，得到对应的第二加工轨迹曲线；对第一加工轨迹曲线及第二加工轨迹曲线进行位移偏离分析，得到对应的轨迹偏移数据集合，具体为：提取第一加工轨迹曲线和第二加工轨迹曲线的多个曲线特征值，然后对多个曲线特征值进行特征点匹配，得到多个曲线特征值对，对多个曲线特征值对进行差值计算，得到对应的差值计算结果集合，最后根据对应的差值计算结果集合进行比较，生成轨迹偏移数据集合。

在一具体实施例中，如图4所示，执行步骤S303的过程可以具体包括如下步骤：

S401、对第一加工轨迹曲线及第二加工轨迹曲线进行曲线差值计算，得到对应的差值计算结果集合；

S402、基于预置的偏离位移阈值，分别对差值计算结果集合中每一差值计算结果进行筛选，得到超过偏离位移阈值的第一数据集合及未超过偏离位移阈值的第二数据集合；

S403、对第一数据集合及第二数据集合进行比值计算，得到比值结果，并根据比值结果确定对应的轨迹偏移数据集合。

具体的，对第一加工轨迹曲线及第二加工轨迹曲线进行曲线差值计算，得到对应的差值计算结果集合；基于预置的偏离位移阈值，分别对差值计算结果集合中每一差值计算结果进行筛选，得到超过偏离位移阈值的第一数据集合及未超过偏离位移阈值的第二数据集合，其中，偏离位移阈值为差值计算结果集合中所有差值计算结果对应的平均值；对第一数据集合及第二数据集合进行比值计算，得到比值结果，并根据比值结果确定对应的轨迹偏移数据集合，其中，轨迹偏移数据集合包括多个数据点，对多个数据点按照多个加工区域进行分类，然后对分类后的多个数据点进行集合合并，生成轨迹偏移数据集合。

在一具体实施例中，执行步骤S107，可以包括如下步骤：

（1）基于预置的应对策略数据库，通过工件信息集合进行应对策略采集，得到应对策略集合；

（2）对轨迹偏移检测结果进行分词处理，得到对应的分词结果；

（3）根据分词结果及应对策略集合进行关键字匹配，得到对应的目标策略并将目标策略传输至预置的加工控制终端。

具体的，对轨迹偏移检测结果进行分词处理，得到对应的分词结果，具体是采用初始分词集合中的每个分词，获取该分词的权重，并且确定该分词到目标分词集合中距离最近的分词的距离，以及针对目标分词集合中的每个分词，获取该分词的权重，并且确定该分词到初始分词集合中距离最近的分词的距离，进而根据初始分词集合中的各个分词对应的权重和对应的距离以及目标分词集合中的各个分词对应的权重和对应的距离，得到分词结果，再根据分词结果及应对策略集合进行关键字匹配，得到对应的目标策略，并将目标策略传输至预置的加工控制终端。

上面对本发明实施例中基于机器视觉的工件加工轨迹控制方法进行了描述，下面对本发明实施例中基于机器视觉的工件加工轨迹控制方法装置进行描述，请参阅图5，本发明实施例中基于机器视觉的工件加工轨迹控制方法装置一个实施例包括：

获取模块501，用于从预置的数据库中获取目标工件的工件信息集合，并根据所述工件信息集合对所述目标工件进行加工工艺匹配，得到目标加工工艺信息；

生成模块502，用于根据所述目标加工工艺信息和所述工件信息集合生成所述目标工件的加工轨迹，得到标准加工轨迹；

采集模块503，用于基于预设的加工检测时间和预置的图像采集终端对当前工件加工实际状态进行图像采集，得到在所述加工检测时间内的多个红外图像；

分析模块504，用于对所述多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；

计算模块505，用于根据所述标准加工轨迹对所述待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；

检测模块506，用于将所述轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果，其中，所述轨迹偏移检测结果为轨迹偏离和轨迹未偏离；

匹配模块507，用于对所述轨迹偏移检测结果进行应对策略匹配，得到对应的目标策略，并将所述目标策略传输至预置的加工控制终端。

通过上述各个组成部分的协同合作，根据目标加工工艺信息和工件信息集合生成目标工件的加工轨迹，得到标准加工轨迹；对当前工件加工实际状态进行图像采集，得到在加工检测时间内的多个红外图像；对多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；根据标准加工轨迹对待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；将轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果；对轨迹偏移检测结果进行应对策略匹配，得到目标策略，并将目标策略传输至加工控制终端，本发明通过对工件加工过程进行加工轨迹的实时检测，并且对加工过程进行动态调整，使得轨迹偏移检测的准确率提高，进而提高了加工轨迹控制的准确率。

图6是本发明实施例提供的一种基于机器视觉的工件加工轨迹控制方法设备的结构示意图，所述基于机器视觉的工件加工轨迹控制方法设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centra应对策略数据库 processingunits，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于机器视觉的工件加工轨迹控制方法设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于机器视觉的工件加工轨迹控制方法设备600上执行存储介质630中的一系列指令操作。

基于机器视觉的工件加工轨迹控制方法设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作***631，例如Windows Serve，Mac OS X，Unix，应对策略数据库inux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于机器视觉的工件加工轨迹控制方法设备结构并不构成对基于机器视觉的工件加工轨迹控制方法设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种基于机器视觉的工件加工轨迹控制方法设备，所述基于机器视觉的工件加工轨迹控制方法设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于机器视觉的工件加工轨迹控制方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质可以为非易失性计算机可读存储介质，所述计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于机器视觉的工件加工轨迹控制方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的全部或部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-on应对策略数据库y memory， ROM）、随机存取存储器（random acceS memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于机器视觉的工件加工轨迹控制方法，其特征在于，所述基于机器视觉的工件加工轨迹控制方法包括：

从预置的数据库中获取目标工件的工件信息集合，并根据所述工件信息集合对所述目标工件进行加工工艺匹配，得到目标加工工艺信息；

根据所述目标加工工艺信息和所述工件信息集合生成所述目标工件的加工轨迹，得到标准加工轨迹；

基于预设的加工检测时间和预置的图像采集终端对当前工件加工实际状态进行图像采集，得到在所述加工检测时间内的多个红外图像；

对所述多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；

根据所述标准加工轨迹对所述待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；

将所述轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果，其中，所述轨迹偏移检测结果为轨迹偏离和轨迹未偏离；

对所述轨迹偏移检测结果进行应对策略匹配，得到对应的目标策略，并将所述目标策略传输至预置的加工控制终端。

2.根据权利要求1所述的基于机器视觉的工件加工轨迹控制方法，其特征在于，所述根据所述目标加工工艺信息和所述工件信息集合生成所述目标工件的加工轨迹，得到标准加工轨迹，包括：

通过所述工件信息集合中结构信息进行三维重构，得到与所述目标工件对应的初始工件三维模型；

通过所述工件信息集合中属性信息对所述工件三维模型进行属性赋值，得到目标工件三维模型；

通过所述目标加工工艺信息对所述目标工件三维模型进行加工区域分析，得到多个加工区域；

对所述多个加工区域进行加工轨迹标定，生成标准加工轨迹。

3.根据权利要求2所述的基于机器视觉的工件加工轨迹控制方法，其特征在于，所述通过所述目标加工工艺信息对所述目标工件三维模型进行加工区域分析，得到多个加工区域，包括：

通过所述目标加工工艺信息进行加工流程匹配，得到对应的工件加工流程；

基于所述工件加工流程对所述目标工件三维模型进行加工区域划分，得到多个加工区域。

4.根据权利要求1所述的基于机器视觉的工件加工轨迹控制方法，其特征在于，所述对所述多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹，包括：

对所述多个红外图像进行二值化处理，得到对应的多个二值化图像；

对所述多个二值化图像进行热度点分析，得到对应的热度点集合；

基于预置的空间坐标系，对所述热度点集合中每一热度点进行坐标转换，得到热度点坐标集合；

对所述热度点坐标集合进行归一化处理，得到待识别加工轨迹。

5.根据权利要求1所述的基于机器视觉的工件加工轨迹控制方法，其特征在于，所述根据所述标准加工轨迹对所述待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合，包括：

对所述标准加工轨迹进行曲线映射处理，得到对应的第一加工轨迹曲线；

对所述待识别加工轨迹进行曲线映射处理，得到对应的第二加工轨迹曲线；

对所述第一加工轨迹曲线及所述第二加工轨迹曲线进行位移偏离分析，得到对应的轨迹偏移数据集合。

6.根据权利要求5所述的基于机器视觉的工件加工轨迹控制方法，其特征在于，所述对所述第一加工轨迹曲线及所述第二加工轨迹曲线进行位移偏离分析，得到对应的轨迹偏移数据集合，包括：

对所述第一加工轨迹曲线及所述第二加工轨迹曲线进行曲线差值计算，得到对应的差值计算结果集合；

基于预置的偏离位移阈值，分别对所述差值计算结果集合中每一差值计算结果进行筛选，得到超过所述偏离位移阈值的第一数据集合及未超过所述偏离位移阈值的第二数据集合；

对所述第一数据集合及所述第二数据集合进行比值计算，得到比值结果，并根据所述比值结果确定对应的轨迹偏移数据集合。

7.根据权利要求1所述的基于机器视觉的工件加工轨迹控制方法，其特征在于，所述对所述轨迹偏移检测结果进行应对策略匹配，得到对应的目标策略，并将所述目标策略传输至预置的加工控制终端，包括：

基于预置的应对策略数据库，通过所述工件信息集合进行应对策略采集，得到应对策略集合；

对所述轨迹偏移检测结果进行分词处理，得到对应的分词结果；

根据所述分词结果及所述应对策略集合进行关键字匹配，得到对应的目标策略并将所述目标策略传输至预置的加工控制终端。

8.一种基于机器视觉的工件加工轨迹控制方法装置，其特征在于，所述基于机器视觉的工件加工轨迹控制方法装置包括：

获取模块，用于从预置的数据库中获取目标工件的工件信息集合，并根据所述工件信息集合对所述目标工件进行加工工艺匹配，得到目标加工工艺信息；

生成模块，用于根据所述目标加工工艺信息和所述工件信息集合生成所述目标工件的加工轨迹，得到标准加工轨迹；

采集模块，用于基于预设的加工检测时间和预置的图像采集终端对当前工件加工实际状态进行图像采集，得到在所述加工检测时间内的多个红外图像；

分析模块，用于对所述多个红外图像进行初始加工轨迹分析，得到待识别加工轨迹；

计算模块，用于根据所述标准加工轨迹对所述待识别加工轨迹进行轨迹偏离计算，得到对应的轨迹偏移数据集合；

检测模块，用于将所述轨迹偏移数据集合输入预置的轨迹偏移检测模型进行轨迹偏移检测，得到轨迹偏移检测结果，其中，所述轨迹偏移检测结果为轨迹偏离和轨迹未偏离；

匹配模块，用于对所述轨迹偏移检测结果进行应对策略匹配，得到对应的目标策略，并将所述目标策略传输至预置的加工控制终端。

9.一种基于机器视觉的工件加工轨迹控制方法设备，其特征在于，所述基于机器视觉的工件加工轨迹控制方法设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于机器视觉的工件加工轨迹控制方法设备执行如权利要求1-7中任一项所述的基于机器视觉的工件加工轨迹控制方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于机器视觉的工件加工轨迹控制方法。

Images