CN115690405B - 一种基于机器视觉的加工轨迹优化方法及相关设备 - Google Patents
一种基于机器视觉的加工轨迹优化方法及相关设备 Download PDFInfo
- Publication number
- CN115690405B CN115690405B CN202211706260.1A CN202211706260A CN115690405B CN 115690405 B CN115690405 B CN 115690405B CN 202211706260 A CN202211706260 A CN 202211706260A CN 115690405 B CN115690405 B CN 115690405B
- Authority
- CN
- China
- Prior art keywords
- real
- track
- workpiece
- identification frame
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Numerical Control (AREA)
Abstract
本发明公开了一种基于机器视觉的加工轨迹优化方法及相关设备，方法包括：获取工件加工信息，基于所述工件加工信息生成第一加工轨迹；基于所述第一加工轨迹控制机床进行加工，获取实时加工图像，识别所述实时加工图像中的刀具，生成实时加工轨迹；根据所述实时加工轨迹对所述第一加工轨迹进行优化。本发明可以降低工件加工误差。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于机器视觉的加工轨迹优化方法及相关设备。
背景技术
在数控机床加工过程中，会预先基于加工件的模型生成加工轨迹数据，机床控制刀具根据该加工轨迹运动进行加工，但是这种加工轨迹是理论上的轨迹，实际上，根据机床的使用年限、加工工件与刀具之间的热作用、抵抗力都会造成加工轨迹误差，即实际的加工轨迹与想要达到的理论加工轨迹不同，增大了工件的加工误差。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，本发明提供一种基于机器视觉的加工轨迹优化方法，旨在解决现有技术中实际加工轨迹与理论加工轨迹不同增大了工件的加工误差的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种基于机器视觉的加工轨迹优化方法，所述方法包括：
获取工件加工信息，基于所述工件加工信息生成第一加工轨迹；
基于所述第一加工轨迹控制机床进行加工，获取实时加工图像，识别所述实时加工图像中的刀具，生成实时加工轨迹；
根据所述实时加工轨迹对所述第一加工轨迹进行优化。
所述的基于机器视觉的加工轨迹优化方法，其中，所述识别所述实时加工图像中的刀具，生成实时加工轨迹，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的刀具识别框；
根据所述刀具识别框生成所述实时加工轨迹。
所述的基于机器视觉的加工轨迹优化方法，其中，所述根据所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化；
在第二阶段开始后，每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化；
其中，所述第一阶段为切削前的空走刀阶段，所述第二阶段为切削阶段。
所述的基于机器视觉的加工轨迹优化方法，其中，所述在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的工件识别框；
获取所述刀具识别框和所述工件识别框的接触时刻作为所述第一阶段的结束时刻；
基于截止至所述第一阶段的结束时刻生成的所述实时加工轨迹对所述第一加工轨迹进行优化。
所述的基于机器视觉的加工轨迹优化方法，其中，所述获取所述刀具识别框和所述工件识别框的接触时刻，包括：
当存在目标实时加工图像时，获取所述目标实时加工图像的采集时刻作为所述接触时刻，所述目标实时加工图像中所述刀具识别框的边缘和所述工件识别框的边缘重合。
所述的基于机器视觉的加工轨迹优化方法，其中，所述神经网络模型的训练过程为：
获取初始网络模型；
在训练数据集中确定目标训练数据，所述目标训练数据中包括样本加工图像以及所述样本加工图像中的刀具识别框标签和工件识别框标签，其中，所述刀具识别框标签的边缘与刀具的距离小于一个像素点，所述工件识别框标签的边缘与工件的距离小于一个像素点；
将所述样本加工图像输入至所述初始网络模型中，获取所述初始网络模型输出的样本刀具识别框和样本工件识别框；
根据所述样本刀具识别框、所述刀具识别框标签、所述样本工件识别框和所述工件识别框标签获取训练损失；
根据所述训练损失更新所述初始网络模型的参数；
重复执行所述在训练数据集中确定目标训练数据的步骤，直至所述初始网络模型的参数收敛，将收敛后的所述初始网络模型作为所述神经网络模型。
所述的基于机器视觉的加工轨迹优化方法，其中，所述每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
每隔所述预设时长，获取最近的所述预设时长内所述实时加工轨迹与所述第一加工轨迹的差异数据；
基于所述差异数据对所述第一加工轨迹进行优化。
本发明的第二方面，提供一种基于机器视觉的加工轨迹优化装置，包括：
理论轨迹生成模块，用于获取工件加工信息，基于所述工件加工信息生成第一加工轨迹；
实时轨迹获取模块，用于基于所述第一加工轨迹控制机床进行加工，获取实时加工图像，识别所述实时加工图像中的刀具，生成实时加工轨迹；
实时轨迹优化模块，用于根据所述实时加工轨迹对所述第一加工轨迹进行优化。
本发明的第三方面，提供一种终端，包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的基于机器视觉的加工轨迹优化方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的基于机器视觉的加工轨迹优化方法的步骤。
与现有技术相比，本发明提供了一种基于机器视觉的加工轨迹优化方法，所述的基于机器视觉的加工轨迹优化方法，生成用于控制机床加工的第一加工轨迹后，并不是完全按照第一加工轨迹控制机床进行加工，而是根据实际加工轨迹对第一加工轨迹进行优化，能够使得实际加工轨迹与理论加工轨迹更加接近，降低工件加工误差。
附图说明
图1为本发明提供的基于机器视觉的加工轨迹优化方法的实施例的流程图；
图2为本发明提供的基于机器视觉的加工轨迹优化方法的实施例的结构原理图；
图3为本发明提供的终端的实施例的结构原理图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一
如图1所示，所述基于机器视觉的加工轨迹优化方法的一个实施例中，包括步骤：
S100、获取工件加工信息，基于所述工件加工信息生成第一加工轨迹。
所述工件加工信息为待加工的工件的加工图纸，基于工件的加工图纸可以生成工件的理想加工轨迹作为所述第一加工轨迹的初始状态。在加工开始后，先基于所述第一加工轨迹控制刀具运动进行加工，在加工过程中，由于机床误差、刀具与工件之间的作用等因素影响，刀具的实际加工轨迹和用于控制的加工轨迹之间会产生差异，此时再按照所述第一加工轨迹控制刀具运动，就会产生加工误差。在本实施例中，根据刀具的实际加工轨迹优化所述第一加工轨迹，即优化用于控制机床的加工轨迹，使得按照优化后的加工轨迹进行加工后能够更加接近理想加工轨迹，降低工件加工误差。
具体地，本实施例提供的方法，还包括步骤：
S200、基于所述第一加工轨迹控制机床进行加工，获取实时加工图像，识别所述实时加工图像中的刀具，生成实时加工轨迹。
S300、根据所述实时加工轨迹对所述第一加工轨迹进行优化。
所述识别所述实时加工图像中的刀具，生成实时加工轨迹，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网来输出的刀具识别框；
根据所述刀具识别框生成所述实时加工轨迹。
所述实时加工图像是在加工过程中进行采集得到的图像，也就是说，所述实时加工图像是实时采集的，有多张。根据目前获取的所述实时加工图像获取实时加工轨迹，再基于所述实时加工轨迹对所述第一加工轨迹进行优化，在理论上，按照优化后的所述第一加工轨迹进行控制，刀具能够实现按照理想加工轨迹运动，实时根据优化后的所述第一加工轨迹控制刀具运动继续进行加工并形成新的所述实时加工图像，这个过程在工件加工过程中不断重复，实现加工轨迹的实时优化。
所述根据所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化；
在第二阶段开始后，每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化；
其中，所述第一阶段为切削前的空走刀阶段，所述第二阶段为切削阶段。
在空走刀阶段，刀具和工件不产生接触，刀具的实际运动轨迹和理论运动轨迹之间的误差只是由于机床的行程误差导致的，是线性的，因此，可以基于空走刀阶段实际运动轨迹和理论运动轨迹之间的差异来对所述第一加工轨迹进行一次性优化。而切削阶段，刀具和工件之间会产生复杂的相互作用，这个阶段刀具的实际加工轨迹和理论加工轨迹之间的差异除了机床行程误差之外，还包括刀具和工件之间的相互作用导致的误差，不是简单的线性关系，因此，在本实施例中，在所述第二阶段中，采用周期性实时优化的方式优化轨迹。
具体地，所述在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的工件识别框；
获取所述刀具识别框和所述工件识别框的接触时刻作为所述第一阶段的结束时刻；
基于截止至所述第一阶段的结束时刻生成的所述实时加工轨迹对所述第一加工轨迹进行优化。
当所述刀具识别框和所述工件识别框接触时，刀具开始和工件接触，即从空走刀阶段转换为切削阶段。所述获取所述刀具识别框和所述工件识别框的接触时刻，包括：
当存在目标实时加工图像时，获取所述目标实时加工图像的采集时刻作为所述接触时刻，所述目标实时加工图像中所述刀具识别框的边缘和所述工件识别框的边缘重合。
当存在一张图像中的刀具识别框的边缘和工件识别框的边缘重合，那么该图像的采集时刻为所述接触时刻。
当不存在所述目标实时加工图像时，所述刀具识别框和所述工件识别框最接近的实时加工图像的采集时刻作为所述接触时刻。
为了使得基于上述方式确定的所述接触时刻更加准确，显然地，所述神经网络模型基于输入的图像输出的所述刀具识别框和所述工件识别框需要具有更高的准确性，所述刀具识别框的边缘需要与刀具的边缘相一致，所述工件识别框的边缘需要与工件的边缘相一致，为了提升所述神经网络模型输出的所述刀具识别框和所述工件识别框的准确性，所述神经网络模型的训练过程为：
获取初始网络模型；
在训练数据集中确定目标训练数据，所述目标训练数据中包括样本加工图像以及所述样本加工图像中的刀具识别框标签和工件识别框标签，其中，所述刀具识别框标签的边缘与刀具的距离小于一个像素点，所述工件识别框标签的边缘与工件的距离小于一个像素点；
将所述样本加工图像输入至所述初始网络模型中，获取所述初始网络模型输出的样本刀具识别框和样本工件识别框；
根据所述样本刀具识别框、所述刀具识别框标签、所述样本工件识别框和所述工件识别框标签获取训练损失；
根据所述训练损失更新所述初始网络模型的参数；
重复执行所述在训练数据集中确定目标训练数据的步骤，直至所述初始网络模型的参数收敛，将收敛后的所述初始网络模型作为所述神经网络模型。
为了使得训练得到的所述神经网络模型输出的所述刀具识别框和所述工件识别框的边缘与实际边缘一致，在训练所述神经网络模型时，采用的训练数据中的识别框标签与物体的实际距离小于一个像素点，所述工件识别框标签和所述刀具识别框标签可以采用人工标记的方式获取。
所述根据所述样本刀具识别框、所述刀具识别框标签、所述样本工件识别框和所述工件识别框标签获取训练损失，包括：
根据所述样本刀具识别框和所述刀具识别框标签的交并比获取第一损失；
根据所述样本工件识别框和所述工件识别框标签的交并比获取第二损失；
获取所述样本刀具识别框的边缘和所述刀具识别框标签的边缘之间的距离获取第三损失；
根据所述样本工件识别框和所述工件识别框标签的边缘之间的距离获取第四损失；
对所述第一损失、所述第二损失、所述第三损失和所述第四损失进行加权求和，得到所述训练损失；
其中，所述第三损失和所述第四损失的权重相等，且大于所述第一损失和所述第二损失的权重。
在现有技术中，已有比较成熟的目标检测模型，可以采用已有的采用公开训练集训练完成的目标检测模型作为所述初始网络模型，之后只需要包括少量训练数据的所述训练数据集进行微调即可，这样可以降低对所述训练数据集中的数据进行打标签的工作量，提升效率。而由于本实施例中对于目标边缘检测的准确性要求是现有技术中所没有的，因此现有的已训练完成的目标模型的输出结果中边缘与实际物体的一致性不够好，因此，本实施例提供的方法，在对训练好的目标检测模型进行微调时，增加了针对输出的检测框边缘与物体实际边缘之间的差异的损失，以使得训练后得到的所述神经网络模型具有更强的边缘检测能力，输出更准确的检测框。
在得到所述接触时刻后，将所述接触时刻作为所述第一阶段的结束时刻，基于截止至所述接触时刻生成的所述实时加工轨迹对所述第一加工轨迹进行优化。具体地，获取所述实时加工轨迹的终点和所述第一加工轨迹中的空走刀阶段的终点，对所述第一加工轨迹进行平移以实现对所述第一加工轨迹的优化，以使得优化前的所述第一加工轨迹在优化后的所述第一加工轨迹与所述实时加工轨迹之间。
在所述第二阶段中，所述每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
每隔所述预设时长，获取最近的所述预设时长内所述实时加工轨迹与所述第一加工轨迹的差异数据；
基于所述差异数据对所述第一加工轨迹进行优化。
具体地，在切削阶段中，获取最近的所述预设时长内所述实时加工轨迹中各个预设时刻的刀具位置点与所述第一实时加工轨迹中各个预设时刻的刀具位置点的差异数据，基于所述差异数据对所述第一加工轨迹进行优化，以使得优化前的所述第一加工轨迹中的每个所述预设时刻的刀具位置点在优化后的所述第一加工轨迹中该预设时刻的刀具位置与所述实时加工轨迹中该预设时刻的刀具位置中间。所述预设时刻为在所述预设时长内间隔固定周期的时刻。
综上所述，本实施例提供一种基于机器视觉的加工轨迹优化方法，对采集的图像进行识别，生成用于控制机床加工的第一加工轨迹后，并不是完全按照第一加工轨迹控制机床进行加工，而是根据实际加工轨迹对第一加工轨迹进行优化，能够使得实际加工轨迹与理论加工轨迹更加接近，降低工件加工误差。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
实施例二
基于上述实施例，本发明还相应提供了一种基于机器视觉的加工轨迹优化装置，如图2所示，所述基于机器视觉的加工轨迹优化装置包括：
理论轨迹生成模块，用于获取工件加工信息，基于所述工件加工信息生成第一加工轨迹，具体如实施例一中所述；
实时轨迹获取模块，用于基于所述第一加工轨迹控制机床进行加工，获取实时加工图像，识别所述实时加工图像中的刀具，生成实时加工轨迹，具体如实施例一中所述；
实时轨迹优化模块，用于根据所述实时加工轨迹对所述第一加工轨迹进行优化，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于机器视觉的加工轨迹优化程序30，该基于机器视觉的加工轨迹优化程序30可被处理器10所执行，从而实现本申请中基于机器视觉的加工轨迹优化方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于机器视觉的加工轨迹优化方法等。
在一实施例中，当处理器10执行所述存储器20中基于机器视觉的加工轨迹优化程序30时实现以下步骤：
获取工件加工信息，基于所述工件加工信息生成第一加工轨迹；
基于所述第一加工轨迹控制机床进行加工，获取实时加工图像，识别所述实时加工图像中的刀具，生成实时加工轨迹；
根据所述实时加工轨迹对所述第一加工轨迹进行优化。
其中，所述识别所述实时加工图像中的刀具，生成实时加工轨迹，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的刀具识别框；
根据所述刀具识别框生成所述实时加工轨迹。
其中，所述根据所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化；
在第二阶段开始后，每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化；
其中，所述第一阶段为切削前的空走刀阶段，所述第二阶段为切削阶段。
其中，所述在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的工件识别框；
获取所述刀具识别框和所述工件识别框的接触时刻作为所述第一阶段的结束时刻；
基于截止至所述第一阶段的结束时刻生成的所述实时加工轨迹对所述第一加工轨迹进行优化。
其中，所述获取所述刀具识别框和所述工件识别框的接触时刻，包括：
当存在目标实时加工图像时，获取所述目标实时加工图像的采集时刻作为所述接触时刻，所述目标实时加工图像中所述刀具识别框的边缘和所述工件识别框的边缘重合。
其中，所述神经网络模型的训练过程为：
获取初始网络模型；
在训练数据集中确定目标训练数据，所述目标训练数据中包括样本加工图像以及所述样本加工图像中的刀具识别框标签和工件识别框标签，其中，所述刀具识别框标签的边缘与刀具的距离小于一个像素点，所述工件识别框标签的边缘与工件的距离小于一个像素点；
将所述样本加工图像输入至所述初始网络模型中，获取所述初始网络模型输出的样本刀具识别框和样本工件识别框；
根据所述样本刀具识别框、所述刀具识别框标签、所述样本工件识别框和所述工件识别框标签获取训练损失；
根据所述训练损失更新所述初始网络模型的参数；
重复执行所述在训练数据集中确定目标训练数据的步骤，直至所述初始网络模型的参数收敛，将收敛后的所述初始网络模型作为所述神经网络模型。
其中，所述每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
每隔所述预设时长，获取最近的所述预设时长内所述实时加工轨迹与所述第一加工轨迹的差异数据；
基于所述差异数据对所述第一加工轨迹进行优化。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于机器视觉的加工轨迹优化方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于机器视觉的加工轨迹优化方法，其特征在于，所述方法包括：
获取工件加工信息，基于所述工件加工信息生成第一加工轨迹；
基于所述第一加工轨迹控制机床进行加工，获取实时加工图像，识别所述实时加工图像中的刀具，生成实时加工轨迹；
根据所述实时加工轨迹对所述第一加工轨迹进行优化；
所述识别所述实时加工图像中的刀具，生成实时加工轨迹，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的刀具识别框；
根据所述刀具识别框生成所述实时加工轨迹；
所述根据所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化；
在第二阶段开始后，每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化；
其中，所述第一阶段为切削前的空走刀阶段，所述第二阶段为切削阶段；
在空走刀阶段，刀具和工件不产生接触，刀具的实际运动轨迹和理论运动轨迹之间的误差只是由于机床的行程误差导致的，是线性的，基于空走刀阶段实际运动轨迹和理论运动轨迹之间的差异来对所述第一加工轨迹进行一次性优化；
在切削阶段，刀具和工件之间会产生复杂的相互作用，刀具的实际加工轨迹和理论加工轨迹之间的差异除了机床行程误差之外，还包括刀具和工件之间的相互作用导致的误差，非线性关系，在所述第二阶段中，采用周期性实时优化的方式优化轨迹；
所述在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的工件识别框；
获取所述刀具识别框和所述工件识别框的接触时刻作为所述第一阶段的结束时刻；
基于截止至所述第一阶段的结束时刻生成的所述实时加工轨迹对所述第一加工轨迹进行优化；
所述获取所述刀具识别框和所述工件识别框的接触时刻，包括：
当存在目标实时加工图像时，获取所述目标实时加工图像的采集时刻作为所述接触时刻，所述目标实时加工图像中所述刀具识别框的边缘和所述工件识别框的边缘重合；
当不存在所述目标实时加工图像时，所述刀具识别框和所述工件识别框最接近的实时加工图像的采集时刻作为所述接触时刻；
所述刀具识别框的边缘需要与刀具的边缘相一致，所述工件识别框的边缘需要与工件的边缘相一致；
所述神经网络模型的训练过程为：
获取初始网络模型；
在训练数据集中确定目标训练数据，所述目标训练数据中包括样本加工图像以及所述样本加工图像中的刀具识别框标签和工件识别框标签，其中，所述刀具识别框标签的边缘与刀具的距离小于一个像素点，所述工件识别框标签的边缘与工件的距离小于一个像素点；
将所述样本加工图像输入至所述初始网络模型中，获取所述初始网络模型输出的样本刀具识别框和样本工件识别框；
根据所述样本刀具识别框、所述刀具识别框标签、所述样本工件识别框和所述工件识别框标签获取训练损失；
根据所述训练损失更新所述初始网络模型的参数；
重复执行所述在训练数据集中确定目标训练数据的步骤，直至所述初始网络模型的参数收敛，将收敛后的所述初始网络模型作为所述神经网络模型；
所述根据所述样本刀具识别框、所述刀具识别框标签、所述样本工件识别框和所述工件识别框标签获取训练损失，包括：
根据所述样本刀具识别框和所述刀具识别框标签的交并比获取第一损失；
根据所述样本工件识别框和所述工件识别框标签的交并比获取第二损失；
获取所述样本刀具识别框的边缘和所述刀具识别框标签的边缘之间的距离获取第三损失；
根据所述样本工件识别框和所述工件识别框标签的边缘之间的距离获取第四损失；
对所述第一损失、所述第二损失、所述第三损失和所述第四损失进行加权求和，得到所述训练损失；
其中，所述第三损失和所述第四损失的权重相等，且大于所述第一损失和所述第二损失的权重。
2.根据权利要求1所述的基于机器视觉的加工轨迹优化方法，其特征在于，所述每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
每隔所述预设时长，获取最近的所述预设时长内所述实时加工轨迹与所述第一加工轨迹的差异数据；
基于所述差异数据对所述第一加工轨迹进行优化。
3.一种基于机器视觉的加工轨迹优化装置，其特征在于，包括：
理论轨迹生成模块，用于获取工件加工信息，基于所述工件加工信息生成第一加工轨迹；实时轨迹获取模块，用于基于所述第一加工轨迹控制机床进行加工，获取实时加工图像，识别所述实时加工图像中的刀具，生成实时加工轨迹；
实时轨迹优化模块，用于根据所述实时加工轨迹对所述第一加工轨迹进行优化；
所述实时轨迹获取模块，用于：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的刀具识别框；
根据所述刀具识别框生成所述实时加工轨迹；
所述实时轨迹优化模块，用于：
在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化；
在第二阶段开始后，每隔预设时长基于所述实时加工轨迹对所述第一加工轨迹进行优化；
其中，所述第一阶段为切削前的空走刀阶段，所述第二阶段为切削阶段；
在空走刀阶段，刀具和工件不产生接触，刀具的实际运动轨迹和理论运动轨迹之间的误差只是由于机床的行程误差导致的，是线性的，基于空走刀阶段实际运动轨迹和理论运动轨迹之间的差异来对所述第一加工轨迹进行一次性优化；
在切削阶段，刀具和工件之间会产生复杂的相互作用，刀具的实际加工轨迹和理论加工轨迹之间的差异除了机床行程误差之外，还包括刀具和工件之间的相互作用导致的误差，非线性关系，在所述第二阶段中，采用周期性实时优化的方式优化轨迹；
所述在第一阶段结束后，基于所述第一阶段中生成的所述实时加工轨迹对所述第一加工轨迹进行优化，包括：
将所述实时加工图像输入至已训练的神经网络模型中，获取所述神经网络模型输出的工件识别框；
获取所述刀具识别框和所述工件识别框的接触时刻作为所述第一阶段的结束时刻；
基于截止至所述第一阶段的结束时刻生成的所述实时加工轨迹对所述第一加工轨迹进行优化；
所述获取所述刀具识别框和所述工件识别框的接触时刻，包括：
当存在目标实时加工图像时，获取所述目标实时加工图像的采集时刻作为所述接触时刻，所述目标实时加工图像中所述刀具识别框的边缘和所述工件识别框的边缘重合；
当不存在所述目标实时加工图像时，所述刀具识别框和所述工件识别框最接近的实时加工图像的采集时刻作为所述接触时刻；
所述刀具识别框的边缘需要与刀具的边缘相一致，所述工件识别框的边缘需要与工件的边缘相一致；
所述神经网络模型的训练过程为：
获取初始网络模型；
在训练数据集中确定目标训练数据，所述目标训练数据中包括样本加工图像以及所述样本加工图像中的刀具识别框标签和工件识别框标签，其中，所述刀具识别框标签的边缘与刀具的距离小于一个像素点，所述工件识别框标签的边缘与工件的距离小于一个像素点；
将所述样本加工图像输入至所述初始网络模型中，获取所述初始网络模型输出的样本刀具识别框和样本工件识别框；
根据所述样本刀具识别框、所述刀具识别框标签、所述样本工件识别框和所述工件识别框标签获取训练损失；
根据所述训练损失更新所述初始网络模型的参数；
重复执行所述在训练数据集中确定目标训练数据的步骤，直至所述初始网络模型的参数收敛，将收敛后的所述初始网络模型作为所述神经网络模型；
所述根据所述样本刀具识别框、所述刀具识别框标签、所述样本工件识别框和所述工件识别框标签获取训练损失，包括：
根据所述样本刀具识别框和所述刀具识别框标签的交并比获取第一损失；
根据所述样本工件识别框和所述工件识别框标签的交并比获取第二损失；
获取所述样本刀具识别框的边缘和所述刀具识别框标签的边缘之间的距离获取第三损失；
根据所述样本工件识别框和所述工件识别框标签的边缘之间的距离获取第四损失；
对所述第一损失、所述第二损失、所述第三损失和所述第四损失进行加权求和，得到所述训练损失；
其中，所述第三损失和所述第四损失的权重相等，且大于所述第一损失和所述第二损失的权重。
4.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-2任一项所述的基于机器视觉的加工轨迹优化方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-2任一项所述的基于机器视觉的加工轨迹优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211706260.1A CN115690405B (zh) | 2022-12-29 | 2022-12-29 | 一种基于机器视觉的加工轨迹优化方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211706260.1A CN115690405B (zh) | 2022-12-29 | 2022-12-29 | 一种基于机器视觉的加工轨迹优化方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115690405A CN115690405A (zh) | 2023-02-03 |
| CN115690405B true CN115690405B (zh) | 2023-04-07 |
Family
ID=85055285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211706260.1A Active CN115690405B (zh) | 2022-12-29 | 2022-12-29 | 一种基于机器视觉的加工轨迹优化方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115690405B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912241B (zh) * | 2023-09-12 | 2023-12-12 | 深圳市艾为创科技有限公司 | 基于机器学习的cnc调机优化方法及*** |
| CN116974239B (zh) * | 2023-09-22 | 2023-12-01 | 深圳市艾姆克斯科技有限公司 | 一种基于精雕机的加工轨迹控制方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108459559A (zh) * | 2018-05-03 | 2018-08-28 | 南京航空航天大学 | 五轴联动加工机床轨迹误差实时监测方法 |
| CN109032071A (zh) * | 2018-08-16 | 2018-12-18 | 重庆理工大学 | 基于深度学习网络的数控机床运动误差实时溯因方法 |
| CN114326588A (zh) * | 2022-03-14 | 2022-04-12 | 深圳市山龙智控有限公司 | 一种伺服驱动***的效率优化控制方法、***及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109375632B (zh) * | 2018-12-17 | 2020-03-20 | 清华大学 | 自动驾驶车辆实时轨迹规划方法 |
| CN109886997B (zh) * | 2019-01-23 | 2023-07-11 | 平安科技（深圳）有限公司 | 基于目标检测的识别框确定方法、装置及终端设备 |
| CN114237155B (zh) * | 2022-02-24 | 2022-06-07 | 深圳市正和楚基科技有限公司 | 一种多轴数控加工的误差预测及补偿方法、***及介质 |
-
2022
- 2022-12-29 CN CN202211706260.1A patent/CN115690405B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108459559A (zh) * | 2018-05-03 | 2018-08-28 | 南京航空航天大学 | 五轴联动加工机床轨迹误差实时监测方法 |
| CN109032071A (zh) * | 2018-08-16 | 2018-12-18 | 重庆理工大学 | 基于深度学习网络的数控机床运动误差实时溯因方法 |
| CN114326588A (zh) * | 2022-03-14 | 2022-04-12 | 深圳市山龙智控有限公司 | 一种伺服驱动***的效率优化控制方法、***及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115690405A (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115690405B (zh) | 一种基于机器视觉的加工轨迹优化方法及相关设备 | |
| CN114676647B (zh) | 一种基于深度学习方法的数控机床零部件寿命预测方法 | |
| CN116009480B (zh) | 一种数控机床的故障监测方法、装置、设备及存储介质 | |
| CN115993804B (zh) | 一种基于数控机床的刀具参数调整方法及相关设备 | |
| CN114708587B (zh) | 一种基于图像识别的数控机床工件加工余量确定方法 | |
| CN115981240B (zh) | 数控机床故障原因确定方法、装置、设备及介质 | |
| US20170227952A1 (en) | Machining time estimation device | |
| CN115629573B (zh) | 一种加工程序自动编制方法、装置、终端设备及存储介质 | |
| CN117283165B (zh) | 一种用于铝型材切割装置的高精度切割方法及*** | |
| CN115685876B (zh) | 一种基于轨迹补偿的平面激光切割控制方法及*** | |
| CN114952422B (zh) | 一种数控机床加工刀具状态实时预测方法 | |
| CN114660993B (zh) | 一种基于多源异构数据特征降维的数控机床故障预测方法 | |
| CN114637268A (zh) | 一种基于人工智能的工业生产控制方法、***及云平台 | |
| CN117161582A (zh) | 一种基于计算机视觉的激光切割方法 | |
| CN114545862A (zh) | 一种夹具作业点位确定方法、装置、设备及存储介质 | |
| US20210382467A1 (en) | Inspection system, terminal device, inspection method, and non-transitory computer readable storage medium | |
| CN114669932A (zh) | 一种智能焊接方法及相关装置 | |
| CN113762158A (zh) | 无边框表格复原模型训练方法、装置、计算机设备和介质 | |
| CN111897535A (zh) | 语法纠错方法、装置、计算机***及可读存储介质 | |
| CN117193226B (zh) | 一种多功能智能工业控制***及控制方法 | |
| JP7224561B1 (ja) | コンベア制御装置、生産システム、及びコンベア制御プログラム | |
| CN111443658B (zh) | 工业机器人误差处理方法和装置 | |
| CN115805457B (zh) | 基于计算机视觉的夹具调控方法、装置、终端及存储介质 | |
| CN115760855B (zh) | 工件检查方法及相关设备 | |
| CN116198235B (zh) | 一种基于视觉处理的打码辅助定位检测设备及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |